[發明專利]批量數據處理方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202310639593.5
• 申請日: 2023-05-31
• 公開（公告）號: CN116643865A
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 何方敏
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F21/64
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊俊輝;黃健

本申請提供一種批量數據處理方法、裝置、設備及可讀存儲介質，可用于大數據技術領域。該方法包括：獲取批量處理任務；確定多個批量處理過程對應的多個通用處理模板，多個批量處理過程包括批量讀過程、批量格式轉換過程和批量寫過程；確定第一批量數據的第一數據信息，第一數據信息包括如下至少一種：第一批量數據的數據類型、存儲第一批量數據的源設備、待轉換至的目標數據類型或待存儲至的目標設備；根據多個通用處理模板和第一數據信息，確定多個批量處理過程對應的多個目標處理方式；通過多個目標處理方式執行所述批量處理任務。本申請的方法，提高了批量數據處理的靈活性。

技術領域

本申請涉及大數據技術領域，尤其涉及一種批量數據處理方法、裝置、設備及可讀存儲介質。

背景技術

在數據管理過程中，數據來源于不同的數據系統，不同的數據系統存儲數據的數據類型不同，在批量獲取數據的過程中，需要對數據進行批量處理，使得獲取數據的數據類型相同。

在現有技術中，針對數據的不同數據類型，都具有其對應的數據處理過程，多個數據處理過程之間相互獨立。在實際應用過中，根據待批量處理數據的數據類型，確定對應的數據處理過程，對待批量處理數據進行批量處理。然而，多個數據處理過程之間存在相同的程序，使得數據處理過程冗余，并且在對數據處理過程進程維護時，需要對每一個數據處理過程進行維護，導致批量數據處理的靈活性較差。

發明內容

本申請提供一種批量數據處理方法、裝置、設備及可讀存儲介質，用以解決批量數據處理的靈活性較差的問題。

第一方面，本申請提供一種批量數據處理方法，包括：

獲取批量處理任務，所述批量處理任務用于指示對第一批量數據進行處理；

確定多個批量處理過程對應的多個通用處理模板，所述多個批量處理過程包括批量讀過程、批量格式轉換過程和批量寫過程；

確定所述第一批量數據的第一數據信息，所述第一數據信息包括如下至少一種：所述第一批量數據的數據類型、存儲所述第一批量數據的源設備、待轉換至的目標數據類型或待存儲至的目標設備；

根據所述多個通用處理模板和所述第一數據信息，確定所述多個批量處理過程對應的多個目標處理方式；

通過所述多個目標處理方式執行所述批量處理任務。

第二方面，本申請提供一種批量數據處理裝置，包括獲取模塊、第一確定模塊、第二確定模塊、第三確定模塊和執行模塊：

所述獲取模塊用于，獲取批量處理任務，所述批量處理任務用于指示對第一批量數據進行處理；

所述第一確定模塊用于，確定多個批量處理過程對應的多個通用處理模板，所述多個批量處理過程包括批量讀過程、批量格式轉換過程和批量寫過程；

所述第二確定模塊用于，確定所述第一批量數據的第一數據信息，所述第一數據信息包括如下至少一種：所述第一批量數據的數據類型、存儲所述第一批量數據的源設備、待轉換至的目標數據類型或待存儲至的目標設備；

所述第三確定模塊用于，根據所述多個通用處理模板和所述第一數據信息，確定所述多個批量處理過程對應的多個目標處理方式；

所述執行模塊用于，通過所述多個目標處理方式執行所述批量處理任務。

第三方面，本申請實施例提供一種終端設備，包括：存儲器和處理器，

所述存儲器存儲計算機執行指令；

所述處理器執行所述存儲器存儲的計算機執行指令，使得所述處理器執行第一方面任一項所述的批量數據處理方法。