[發(fā)明專利]數(shù)據(jù)加載方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610323245.7
• 申請(qǐng)日: 2016-05-16
• 公開（公告）號(hào): CN107391508B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 江峰;李楊
• 申請(qǐng)（專利權(quán)）人: 順豐科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/25
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 陳姍姍

1.一種數(shù)據(jù)加載方法，其特征在于，所述方法包括：

按預(yù)設(shè)規(guī)則生成對(duì)應(yīng)于待加載數(shù)據(jù)的分片信息表；其中，所述分片信息表包括所述待加載數(shù)據(jù)中每組數(shù)據(jù)的數(shù)據(jù)表主鍵和對(duì)應(yīng)的分片索引；

在各節(jié)點(diǎn)的配置文件中分別配置本節(jié)點(diǎn)所要處理的分片索引和任務(wù)數(shù)；

各節(jié)點(diǎn)的任務(wù)分配單元分別讀取本節(jié)點(diǎn)的配置文件，配置本節(jié)點(diǎn)中加載所述待加載數(shù)據(jù)的任務(wù)執(zhí)行單元的數(shù)量；

各任務(wù)執(zhí)行單元根據(jù)本節(jié)點(diǎn)的任務(wù)分配單元分配的分片索引加載對(duì)應(yīng)的數(shù)據(jù)，刪除所加載數(shù)據(jù)在所述分片信息表中的數(shù)據(jù)表主鍵；

其中，所述各任務(wù)執(zhí)行單元根據(jù)本節(jié)點(diǎn)的任務(wù)分配單元分配的分片索引加載對(duì)應(yīng)的數(shù)據(jù)，刪除所加載數(shù)據(jù)在所述分片信息表中的數(shù)據(jù)表主鍵包括：

各任務(wù)執(zhí)行單元分別獲取本節(jié)點(diǎn)的任務(wù)分配單元分配的分片索引；

各任務(wù)執(zhí)行單元在所述分片信息表中讀取與所獲取分片索引對(duì)應(yīng)的各數(shù)據(jù)表主鍵，根據(jù)所讀取的各數(shù)據(jù)表主鍵加載對(duì)應(yīng)的各組數(shù)據(jù)；

在所述分片信息表中刪除所加載各組數(shù)據(jù)對(duì)應(yīng)的各數(shù)據(jù)表主鍵；

向本節(jié)點(diǎn)的任務(wù)分配單元?dú)w還加載完數(shù)據(jù)的分片索引。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)加載方法，其特征在于，所述按預(yù)設(shè)規(guī)則生成對(duì)應(yīng)于待加載數(shù)據(jù)的分片信息表包括：

根據(jù)分片數(shù)量生成分片索引；

對(duì)所述待加載數(shù)據(jù)中每組數(shù)據(jù)的預(yù)定字段進(jìn)行哈希運(yùn)算和求余運(yùn)算，得到對(duì)應(yīng)的分片索引，在分片信息表中存儲(chǔ)本組數(shù)據(jù)的數(shù)據(jù)表主鍵和對(duì)應(yīng)的分片索引。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)加載方法，其特征在于，所述每組數(shù)據(jù)為每組運(yùn)單信息，所述預(yù)定字段為運(yùn)單號(hào)。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)加載方法，其特征在于，所述根據(jù)分片數(shù)量確定分片索引之前還包括：

根據(jù)系統(tǒng)內(nèi)的節(jié)點(diǎn)數(shù)量和每個(gè)節(jié)點(diǎn)的工作狀態(tài)確定分片數(shù)量。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)加載方法，其特征在于，所述在所述分片信息表中刪除所加載各組數(shù)據(jù)對(duì)應(yīng)的各數(shù)據(jù)表主鍵之前還包括：

根據(jù)所加載的數(shù)據(jù)執(zhí)行預(yù)設(shè)的運(yùn)算任務(wù)。

6.一種數(shù)據(jù)加載系統(tǒng)，其特征在于，所述系統(tǒng)包括若干節(jié)點(diǎn)，其中至少一個(gè)節(jié)點(diǎn)包括：

分片信息配置單元，用于按預(yù)設(shè)規(guī)則生成對(duì)應(yīng)于待加載數(shù)據(jù)的分片信息表，在各所述節(jié)點(diǎn)的配置文件中分別配置本節(jié)點(diǎn)所要處理的分片索引和任務(wù)數(shù)；其中，所述分片信息表包括所述待加載數(shù)據(jù)中每組數(shù)據(jù)的數(shù)據(jù)表主鍵和對(duì)應(yīng)的分片索引；

各所述節(jié)點(diǎn)分別包括：

任務(wù)分配單元，用于讀取本節(jié)點(diǎn)的配置文件，配置本節(jié)點(diǎn)中加載所述待加載數(shù)據(jù)的任務(wù)執(zhí)行單元的數(shù)量；

若干任務(wù)執(zhí)行單元，用于根據(jù)本節(jié)點(diǎn)的任務(wù)分配單元分配的分片索引加載對(duì)應(yīng)的數(shù)據(jù)，刪除所加載數(shù)據(jù)在所述分片信息表中的數(shù)據(jù)表主鍵；

其中，所述根據(jù)本節(jié)點(diǎn)的任務(wù)分配單元分配的分片索引加載對(duì)應(yīng)的數(shù)據(jù)，刪除所加載數(shù)據(jù)在所述分片信息表中的數(shù)據(jù)表主鍵包括：

獲取本節(jié)點(diǎn)的任務(wù)分配單元分配的分片索引；在所述分片信息表中讀取與所獲取分片索引對(duì)應(yīng)的各數(shù)據(jù)表主鍵，根據(jù)所讀取的各數(shù)據(jù)表主鍵加載對(duì)應(yīng)的各組數(shù)據(jù)；在所述分片信息表中刪除所加載各組數(shù)據(jù)對(duì)應(yīng)的各數(shù)據(jù)表主鍵；向本節(jié)點(diǎn)的任務(wù)分配單元?dú)w還加載完數(shù)據(jù)的分片索引。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)加載系統(tǒng)，其特征在于，所述分片信息配置單元還用于根據(jù)分片數(shù)量生成所述分片索引；

所述按預(yù)設(shè)規(guī)則生成對(duì)應(yīng)于待加載數(shù)據(jù)的分片信息表包括對(duì)所述待加載數(shù)據(jù)中每組數(shù)據(jù)的預(yù)定字段進(jìn)行哈希運(yùn)算和求余運(yùn)算，得到對(duì)應(yīng)的分片索引，在分片信息表中存儲(chǔ)本組數(shù)據(jù)的數(shù)據(jù)表主鍵和對(duì)應(yīng)的分片索引。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)加載系統(tǒng)，其特征在于，所述每組數(shù)據(jù)為每組運(yùn)單信息，所述預(yù)定字段為運(yùn)單號(hào)。

9.根據(jù)權(quán)利要求7所述的數(shù)據(jù)加載系統(tǒng)，其特征在于，所述分片信息配置單元還用于根據(jù)系統(tǒng)內(nèi)的節(jié)點(diǎn)數(shù)量和每個(gè)節(jié)點(diǎn)的工作狀態(tài)確定分片數(shù)量。

10.根據(jù)權(quán)利要求6所述的數(shù)據(jù)加載系統(tǒng)，其特征在于，所述任務(wù)執(zhí)行單元還用于根據(jù)所加載的數(shù)據(jù)執(zhí)行預(yù)設(shè)的運(yùn)算任務(wù)。