[發(fā)明專利]文件分片方法及裝置

在審

• 申請?zhí)枺?/td>: 202011633475.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112732650A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 鄭宇惟;陳靜國;劉軻;朱曉潔
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/13;G06F16/172
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;孫乳筍

1.一種文件分片方法，其特征在于，所述方法包括：

讀取待拆分?jǐn)?shù)據(jù)文件中的記錄，并根據(jù)所述待拆分?jǐn)?shù)據(jù)文件對應(yīng)的關(guān)鍵字段，對所述記錄進(jìn)行篩查；

在所述記錄篩查通過后，根據(jù)所述關(guān)鍵字段，確定與所述記錄對應(yīng)的哈希值；

將所述記錄對應(yīng)的哈希值與預(yù)設(shè)的分片數(shù)取余，得到余數(shù)；

根據(jù)所述待拆分?jǐn)?shù)據(jù)文件的文件結(jié)構(gòu)，將所述記錄寫入分片文件夾內(nèi)的分片小文件中；其中，所述分片文件夾與所述余數(shù)一一對應(yīng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：若獲知所述關(guān)鍵字段為數(shù)字型，則將所述關(guān)鍵字段轉(zhuǎn)換為字符型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述關(guān)鍵字段，確定與所述記錄對應(yīng)的哈希值包括：

根據(jù)漢字內(nèi)碼擴(kuò)展規(guī)范，取字符型關(guān)鍵字段的字節(jié)數(shù)組，并將所述字節(jié)數(shù)組寫入字符緩存區(qū)；

利用預(yù)設(shè)的初始哈希值，對所述字符緩存區(qū)中的字節(jié)數(shù)組進(jìn)行移位運(yùn)算及邏輯運(yùn)算，得到與所述記錄對應(yīng)的哈希值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

接收檢查文件及待拆分?jǐn)?shù)據(jù)文件，并對待拆分?jǐn)?shù)據(jù)文件進(jìn)行校驗(yàn)；

在所述待拆分?jǐn)?shù)據(jù)文件校驗(yàn)通過后，根據(jù)所述檢查文件及所述待拆分?jǐn)?shù)據(jù)文件之間的對應(yīng)關(guān)系，確定所述待拆分?jǐn)?shù)據(jù)文件的處理模式；其中，所述處理模式包括單線程處理模式及多線程異步處理模式。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述記錄寫入分片文件夾內(nèi)的分片小文件中包括：

若獲知所述分片小文件中的記錄數(shù)沒有達(dá)到預(yù)設(shè)的最大記錄數(shù)，則將所述記錄寫入所述分片小文件中；

若獲知所述分片小文件中的記錄數(shù)達(dá)到了預(yù)設(shè)的最大記錄數(shù)，則在所述分片文件夾中新建一個分片小文件，將所述記錄寫入新建的分片小文件中。

6.一種文件分片裝置，其特征在于，所述裝置包括：

記錄讀取模塊，用于讀取待拆分?jǐn)?shù)據(jù)文件中的記錄，并根據(jù)所述待拆分?jǐn)?shù)據(jù)文件對應(yīng)的關(guān)鍵字段，對所述記錄進(jìn)行篩查；

哈希值模塊，用于在所述記錄篩查通過后，根據(jù)所述關(guān)鍵字段，確定與所述記錄對應(yīng)的哈希值；

余數(shù)確定模塊，用于將所述記錄對應(yīng)的哈希值與預(yù)設(shè)的分片數(shù)取余，得到余數(shù)；

記錄寫入模塊，用于根據(jù)所述待拆分?jǐn)?shù)據(jù)文件的文件結(jié)構(gòu)，將所述記錄寫入分片文件夾內(nèi)的分片小文件中；其中，所述分片文件夾與所述余數(shù)一一對應(yīng)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述哈希值模塊還用于：若獲知所述關(guān)鍵字段為數(shù)字型，則將所述關(guān)鍵字段轉(zhuǎn)換為字符型。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述哈希值模塊包括：

字符緩存單元，用于根據(jù)漢字內(nèi)碼擴(kuò)展規(guī)范，取字符型關(guān)鍵字段的字節(jié)數(shù)組，并將所述字節(jié)數(shù)組寫入字符緩存區(qū)；

哈希值單元，用于利用預(yù)設(shè)的初始哈希值，對所述字符緩存區(qū)中的字節(jié)數(shù)組進(jìn)行移位運(yùn)算及邏輯運(yùn)算，得到與所述記錄對應(yīng)的哈希值。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括：

文件校驗(yàn)?zāi)K，用于接收檢查文件及待拆分?jǐn)?shù)據(jù)文件，并對待拆分?jǐn)?shù)據(jù)文件進(jìn)行校驗(yàn)；

處理模式模塊，用于在所述待拆分?jǐn)?shù)據(jù)文件校驗(yàn)通過后，根據(jù)所述檢查文件及所述待拆分?jǐn)?shù)據(jù)文件之間的對應(yīng)關(guān)系，確定所述待拆分?jǐn)?shù)據(jù)文件的處理模式；其中，所述處理模式包括單線程處理模式及多線程異步處理模式。

10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述記錄寫入模塊還用于：若獲知所述分片小文件中的記錄數(shù)沒有達(dá)到預(yù)設(shè)的最大記錄數(shù)，則將所述記錄寫入所述分片小文件中；若獲知所述分片小文件中的記錄數(shù)達(dá)到了預(yù)設(shè)的最大記錄數(shù)，則在所述分片文件夾中新建一個分片小文件，將所述記錄寫入新建的分片小文件中。