[發明專利]目標數據的切分方法、裝置以及存儲介質

在審

• 申請號: 202211014135.4
• 申請日: 2022-08-23
• 公開（公告）號: CN115438083A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 歐陽魯;陳凌云;李寧;徐彬;陳行飛;沈國成;金博昊;李文婷;陳旭;湯鑫;張文琰;張書琪;馬馳;劉帥;洪佩雯;張銀龍;徐梁;李宛哲
• 申請（專利權）人: 德邦證券股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 徐敏

1.一種目標數據的切分方法，其特征在于，包括：

從源數據表獲取待切分的目標數據，其中所述目標數據的數據類型為非整數類型；

根據預先設定的切分數量，確定多個子任務的容量，其中所述子任務用于指示將所述目標數據切分后的切片數據；以及

根據所述容量對所述目標數據進行切分，生成多個子任務。

2.根據權利要求1所述的方法，其特征在于，根據預先設定的切分數量，確定多個子任務的容量的操作，包括：

根據預先設定的并行任務組的數量以及相應的子任務的數量，確定所述切分數量，其中所述并行任務組包括多個子任務；以及

通過預設的計算模型，根據所述目標數據的數據量以及所述切分數量，確定所述多個子任務的容量。

3.根據權利要求1所述的方法，其特征在于，還包括：

所述子任務通過讀線程將所述切片數據寫入緩存器中；以及

所述子任務通過寫線程將所述切片數據從所述緩存器中進行讀取。

4.根據權利要求3所述的方法，其特征在于，還包括：

對所述子任務的配置信息進行配置，其中所述配置信息至少包括所述緩存器的最大字節數、記錄數、寫入速度以及記錄速度。

5.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時由處理器執行權利要求1至4中任意一項所述的方法。

6.一種目標數據的切分裝置，其特征在于，包括：

數據獲取模塊，用于從源數據表獲取待切分的目標數據，其中所述目標數據的數據類型為非整數類型；

容量確定模塊，用于根據預先設定的切分數量，確定多個子任務的容量，其中所述子任務用于指示將所述目標數據切分后的切片數據；以及

任務生成模塊，用于根據所述容量對所述目標數據進行切分，生成多個子任務。

7.根據權利要求6所述的裝置，其特征在于，根據預先設定的切分數量，確定多個子任務的容量的操作，包括：

第一確定子模塊，用于根據預先設定的并行任務組的數量以及相應的子任務的數量，確定所述切分數量，其中所述并行任務組包括多個子任務；以及

第二確定子模塊，用于通過預設的計算模型，根據所述目標數據的數據量以及所述切分數量，確定所述多個子任務的容量。

8.根據權利要求6所述的裝置，其特征在于，還包括：

寫入模塊，用于所述子任務通過讀線程將所述切片數據寫入緩存器中；以及

讀取模塊，用于所述子任務通過寫線程將所述切片數據從所述緩存器中進行讀取。

9.根據權利要求8所述的裝置，其特征在于，還包括：

配置模塊，用于對所述子任務的配置信息進行配置，其中所述配置信息至少包括所述緩存器的最大字節數、記錄數、寫入速度以及記錄速度。

10.一種目標數據的切分裝置，其特征在于，包括：

處理器；以及

存儲器，與所述處理器連接，用于為所述處理器提供處理以下處理步驟的指令：

從源數據表獲取待切分的目標數據，其中所述目標數據的數據類型為非整數類型；

根據預先設定的切分數量，確定多個子任務的容量，其中所述子任務用于指示將所述目標數據切分后的切片數據；以及

根據所述容量對所述目標數據進行切分，生成多個子任務。