[發(fā)明專利]一種數(shù)據(jù)處理的方法、裝置、電子設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110823772.5
• 申請日: 2021-07-21
• 公開（公告）號: CN113468128B
• 公開（公告）日: 2023-02-17
• 發(fā)明（設計）人: 左珍德;盧愷;蔣冠初
• 申請（專利權）人: 上海浦東發(fā)展銀行股份有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/22;G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 黃玉霞

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取待處理的數(shù)據(jù)文件，將所述數(shù)據(jù)文件基于文件創(chuàng)建時間發(fā)送至內(nèi)存，根據(jù)預設的文件個數(shù)閾值，對所述數(shù)據(jù)文件進行劃分，得到至少一組文件區(qū)間；

將所述文件區(qū)間中的數(shù)據(jù)文件進行合并，得到至少一個合并文件；

根據(jù)所述合并文件，生成文件列表，將所述文件列表傳遞至磁盤中進行緩存；

將所述文件列表中待處理的合并文件從磁盤發(fā)送至內(nèi)存，根據(jù)預設的數(shù)據(jù)配置信息，在內(nèi)存中進行數(shù)據(jù)處理，并將處理后的數(shù)據(jù)存入數(shù)據(jù)庫中；

在將所述文件列表中待處理的合并文件從磁盤發(fā)送至內(nèi)存之前，還包括：

根據(jù)預設的數(shù)據(jù)處理任務，確定文件列表中待處理的合并文件的數(shù)據(jù)量大小；

根據(jù)當前可用的內(nèi)存大小和所述數(shù)據(jù)量大小，確定內(nèi)存申請釋放的空間，進行內(nèi)存空間的釋放。

2.根據(jù)權利要求1所述的方法，其特征在于，根據(jù)預設的文件個數(shù)閾值，對所述數(shù)據(jù)文件進行劃分，得到至少一組文件區(qū)間，包括：

判斷內(nèi)存接收到的數(shù)據(jù)文件的個數(shù)是否超過預設的文件個數(shù)閾值；

若是，則以文件個數(shù)閾值為單位，將所述數(shù)據(jù)文件劃分為至少一組文件區(qū)間。

3.根據(jù)權利要求2所述的方法，其特征在于，在以文件個數(shù)閾值為單位，將所述數(shù)據(jù)文件劃分為至少一組文件區(qū)間之后，還包括：

若存在小于文件個數(shù)閾值的數(shù)據(jù)文件，則將小于文件個數(shù)閾值的數(shù)據(jù)文件劃分為一個文件區(qū)間。

4.根據(jù)權利要求1所述的方法，其特征在于，將所述文件區(qū)間中的數(shù)據(jù)文件進行合并，得到至少一個合并文件，包括：

將文件區(qū)間中的第二個數(shù)據(jù)文件合并至所述文件區(qū)間的第一個數(shù)據(jù)文件中；

判斷合并后的第一個數(shù)據(jù)文件的文件大小是否超過預設的文件大小閾值；

若是，則停止合并，得到所述文件區(qū)間的第一個合并文件。

5.根據(jù)權利要求4所述的方法，其特征在于，在判斷合并后的第一個數(shù)據(jù)文件的文件大小是否超過預設的文件大小閾值之后，還包括：

若合并后的第一個數(shù)據(jù)文件的文件大小沒有超過預設的文件大小閾值，則將第三個數(shù)據(jù)文件合并入第一個數(shù)據(jù)文件中，并判斷合并后的第一數(shù)據(jù)文件的文件大小是否超過預設的文件大小閾值。

6.根據(jù)權利要求4所述的方法，其特征在于，在得到所述文件區(qū)間的第一個合并文件之后，還包括：

判斷所述文件區(qū)間中是否存在未合并的數(shù)據(jù)文件；

若是，則將所述未合并的數(shù)據(jù)文件中的第一個數(shù)據(jù)文件確定為當前第一數(shù)據(jù)文件，將未合并數(shù)據(jù)文件中的第二個數(shù)據(jù)文件合并至當前第一數(shù)據(jù)文件中；

判斷合并后的當前第一數(shù)據(jù)文件的文件大小是否超過預設的文件大小閾值；

若是，則停止合并，得到所述文件區(qū)間的第二個合并文件。

7.一種數(shù)據(jù)處理裝置，其特征在于，包括：

數(shù)據(jù)劃分模塊，用于獲取待處理的數(shù)據(jù)文件，將所述數(shù)據(jù)文件基于文件創(chuàng)建時間發(fā)送至內(nèi)存，根據(jù)預設的文件個數(shù)閾值，對所述數(shù)據(jù)文件進行劃分，得到至少一組文件區(qū)間；

數(shù)據(jù)合并模塊，用于將所述文件區(qū)間中的數(shù)據(jù)文件進行合并，得到至少一個合并文件；

列表生成模塊，用于根據(jù)所述合并文件，生成文件列表，將所述文件列表傳遞至磁盤中進行緩存；

數(shù)據(jù)處理模塊，用于將所述文件列表中待處理的合并文件從磁盤發(fā)送至內(nèi)存，根據(jù)預設的數(shù)據(jù)配置信息，在內(nèi)存中進行數(shù)據(jù)處理，并將處理后的數(shù)據(jù)存入數(shù)據(jù)庫中；

數(shù)據(jù)量確定單元，用于在將所述文件列表中待處理的合并文件從磁盤發(fā)送至內(nèi)存之前，根據(jù)預設的數(shù)據(jù)處理任務，確定文件列表中待處理的合并文件的數(shù)據(jù)量大小；

內(nèi)存申請單元，用于根據(jù)當前可用的內(nèi)存大小和所述數(shù)據(jù)量大小，確定內(nèi)存申請釋放的空間，進行內(nèi)存空間的釋放。

8.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1-6中任一所述的數(shù)據(jù)處理方法。

9.一種包含計算機可執(zhí)行指令的存儲介質(zhì)，其特征在于，所述計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行如權利要求1-6中任一所述的數(shù)據(jù)處理方法。