[發明專利]一種數據處理的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110823772.5
• 申請日: 2021-07-21
• 公開（公告）號: CN113468128B
• 公開（公告）日: 2023-02-17
• 發明（設計）人: 左珍德;盧愷;蔣冠初
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/22;G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 黃玉霞

本發明實施例公開了一種數據處理的方法、裝置、電子設備及存儲介質。其中，該方法包括：獲取待處理的數據文件，將所述數據文件基于文件創建時間發送至內存，根據預設的文件個數閾值，對所述數據文件進行劃分，得到至少一組文件區間；將所述文件區間中的數據文件進行合并，得到至少一個合并文件；根據所述合并文件，生成文件列表，將所述文件列表傳遞至磁盤中進行緩存；將待處理的合并文件從磁盤發送至內存，根據預設的數據配置信息，在內存中進行數據處理。實現由內存和磁盤相配合，共同進行數據處理，提高內存的利用率和數據處理效率。

技術領域

本發明實施例涉及數據處理技術，尤其涉及一種數據處理的方法、裝置、電子設備及存儲介質。

背景技術

ETL(Extract-Transformation-Loading，提取-轉換-加載)是構建數據倉庫的一種重要技術。傳統的ETL過程采用定時任務調度的方式執行，當滿足時間條件時，ETL服務器調度執行預先定義好的任務。將批量數據從業務數據庫或本地文件等數據源中抽取出來，經過清洗和轉換等處理，存入預先定義好的數據倉庫中。

隨著移動互聯網和智能設備的快速發展和普及，互聯網應用產生的數據日益龐大。現有技術中，待處理的數據從數據源直接傳遞至內存進行處理。無法預知數據處理任務所占空間的大小，只能臨時申請內存，空間的頻繁釋放容易產生大量內存碎片。而提前申請固定緩存空間又會造成緩存溢出或浪費等問題，降低內存的利用率，影響數據處理效率。

發明內容

本發明實施例提供一種數據處理的方法、裝置、電子設備及存儲介質，以提高數據處理的效率。

第一方面，本發明實施例提供了一種數據處理方法，該方法包括：

獲取待處理的數據文件，將所述數據文件基于文件創建時間發送至內存，根據預設的文件個數閾值，對所述數據文件進行劃分，得到至少一組文件區間；

將所述文件區間中的數據文件進行合并，得到至少一個合并文件；

根據所述合并文件，生成文件列表，將所述文件列表傳遞至磁盤中進行緩存；

將文件列表中待處理的合并文件從磁盤發送至內存，根據預設的數據配置信息，在內存中進行數據處理，并將處理后的數據存入數據庫中。

第二方面，本發明實施例還提供了一種數據處理裝置，該裝置包括：

數據劃分模塊，用于獲取待處理的數據文件，將所述數據文件基于文件創建時間發送至內存，根據預設的文件個數閾值，對所述數據文件進行劃分，得到至少一組文件區間；

數據合并模塊，用于將所述文件區間中的數據文件進行合并，得到至少一個合并文件；

列表生成模塊，用于根據所述合并文件，生成文件列表，將所述文件列表傳遞至磁盤中進行緩存；

數據處理模塊，用于將文件列表中待處理的合并文件從磁盤發送至內存，根據預設的數據配置信息，在內存中進行數據處理，并將處理后的數據存入數據庫中。

第三方面，本發明實施例還提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如本發明任意實施例所述的數據處理方法。

第四方面，本發明實施例還提供了一種包含計算機可執行指令的存儲介質，所述計算機可執行指令在由計算機處理器執行時用于執行如本發明任意實施例所述的數據處理方法。