[發明專利]文件分片方法及裝置

在審

• 申請號: 202011633475.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112732650A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 鄭宇惟;陳靜國;劉軻;朱曉潔
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/13;G06F16/172
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;孫乳筍

本發明提供了一種文件分片方法及裝置，可用于金融領域或其他領域。所述方法包括：讀取待拆分數據文件中的記錄，根據待拆分數據文件對應的關鍵字段，對記錄進行篩查；在記錄篩查通過后，根據關鍵字段，確定與記錄對應的哈希值；將記錄對應的哈希值與預設的分片數取余，得到余數；根據待拆分數據文件的文件結構，將記錄寫入分片文件夾內的分片小文件中；其中，分片文件夾與余數一一對應。本發明利用哈希算法進行高效的文件分片，將大文件的拆分到分片小文件中，充分考慮了單文件散列及數據有效性等因素，處理效率高，不易出錯，為現代化銀行系統頻繁處理海量數據文件提供優質的基礎服務。

技術領域

本發明涉及文件拆分技術領域，尤指一種文件分片方法及裝置。

背景技術

目前，銀行系統在批量處理數據量較大的文件時往往將文件整體一次性讀入緩存中，此舉造成I\O讀寫頻繁、內存占用高、數據處理緩慢，數據格式有誤等一系列問題，輕則導致處理文件超時，影響下一步流程；重則擠占大量聯機交易資源，日間業務阻塞。現有的文件拆分技術存在處理效率低、數據易出錯等問題。

發明內容

針對現有技術中的問題，本發明實施例的主要目的在于提供一種文件分片方法及裝置，實現將大數據文件高效、異步、有效的拆分到分片小文件中。

為實現上述目的，本發明實施例提供一種文件分片方法，所述方法包括：

讀取待拆分數據文件中的記錄，并根據所述待拆分數據文件對應的關鍵字段，對所述記錄進行篩查；

在所述記錄篩查通過后，根據所述關鍵字段，確定與所述記錄對應的哈希值；

將所述記錄對應的哈希值與預設的分片數取余，得到余數；

根據所述待拆分數據文件的文件結構，將所述記錄寫入分片文件夾內的分片小文件中；其中，所述分片文件夾與所述余數一一對應。

可選的，在本發明一實施例中，所述方法還包括：若獲知所述關鍵字段為數字型，則將所述關鍵字段轉換為字符型。

可選的，在本發明一實施例中，所述根據字符型的關鍵字段，確定與所述記錄對應的哈希值包括：根據漢字內碼擴展規范，取字符型關鍵字段的字節數組，并將所述字節數組寫入字符緩存區；利用預設的初始哈希值，對所述字符緩存區中字符進行移位運算及邏輯運算，得到與所述記錄對應的哈希值。

可選的，在本發明一實施例中，所述方法還包括：接收檢查文件及待拆分數據文件，并對待拆分數據文件進行校驗；在所述待拆分數據文件校驗通過后，根據所述檢查文件及所述待拆分數據文件之間的對應關系，確定所述待拆分數據文件的處理模式；其中，所述處理模式包括單線程處理模式及多線程異步處理模式。

可選的，在本發明一實施例中，所述將所述記錄寫入分片文件夾內的分片小文件中包括：若獲知所述分片小文件中的記錄數沒有達到預設的最大記錄數，則將所述記錄寫入所述分片小文件中；若獲知所述分片小文件中的記錄數達到了預設的最大記錄數，則在所述分片文件夾中新建一個分片小文件，將所述記錄寫入新建的分片小文件中。

本發明實施例還提供一種文件分片裝置，所述裝置包括：

記錄讀取模塊，用于讀取待拆分數據文件中的記錄，并根據所述待拆分數據文件對應的關鍵字段，對所述記錄進行篩查；

哈希值模塊，用于在所述記錄篩查通過后，根據所述關鍵字段，確定與所述記錄對應的哈希值；

余數確定模塊，用于將所述記錄對應的哈希值與預設的分片數取余，得到余數；

記錄寫入模塊，用于根據所述待拆分數據文件的文件結構，將所述記錄寫入分片文件夾內的分片小文件中；其中，所述分片文件夾與所述余數一一對應。

可選的，在本發明一實施例中，所述哈希值模塊還用于：若獲知所述關鍵字段為數字型，則將所述關鍵字段轉換為字符型。