[發明專利]數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 202210511669.1
• 申請日: 2022-05-12
• 公開（公告）號: CN114610959B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 閆長虎;張紹震;秦元;黃智浩;嚴羽
• 申請（專利權）人: 恒生電子股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F11/34;G06K17/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

本申請提供了一種數據處理方法、裝置、設備及存儲介質，應用于數據處理平臺中多個執行器節點中每個執行器節點，數據處理平臺中還具有驅動器節點，其中，該方法包括：采用驅動器節點獲取待處理字段的信息，待處理字段的信息包括：待處理字段的字段名和對應的字段值，采用每個執行器節點，判斷每個執行器節點的數據表中是否包括待處理字段的字段名，若多個執行器節點中目標執行器節點的數據表中包括待處理字段的字段名，則采用目標執行器節點，根據待處理字段的字段值，對目標執行器節點的數據表進行操作。無需進行數據遷移，采用多個執行器節點并行處理，提高了數據處理效率，并且適用于各種類型的關系型數據庫。

技術領域

本申請涉及計算機技術領域，具體而言，涉及一種數據處理方法、裝置、設備及存儲介質。

背景技術

Spark是專為大規模數據處理而設計的快速通用的計算引擎，Spark支持操作多種類型的關系型數據庫，比如支持從mysql、oralce、postgrsql等關系型數據庫中讀取和寫入數據。

目前，基于Spark平臺對關系型數據庫執行插入更新操作往往使用合并（merge）的方法，其中，需要將數據落地，即將數據遷移至待執行插入更新的關系型數據庫中，然后將該數據插入或更新到該關系型數據庫中的數據表中。

然而，該方式不僅數據處理效率低下，并且由于不同數據庫具有不同的限制條件，因此，該方式不適用于所有類型的關系型數據庫，具有一定的局限性。

發明內容

有鑒于此，本申請實施例提供了一種數據處理方法、裝置、設備及存儲介質，以解決現有技術中數據處理效率低下，且具有一定局限性問題。

第一方面，本申請實施例提供了一種數據處理方法，應用于數據處理平臺中多個執行器節點中每個執行器（Executor）節點，所述數據處理平臺中還具有驅動器（Driver）節點，所述方法包括：

采用所述驅動器節點獲取待處理字段的信息，所述待處理字段的信息包括：所述待處理字段的字段名和對應的字段值；

采用所述每個執行器節點，判斷所述每個執行器節點的數據表中是否包括所述待處理字段的字段名，其中，所述每個執行器節點的數據表為將預設數據庫的數據表分割為多個分區中的任一數據表；

若所述多個執行器節點中目標執行器節點的數據表中包括所述待處理字段的字段名，則采用所述目標執行器節點，根據所述待處理字段的字段值，對所述目標執行器節點的數據表進行操作。

在一可能的實現方式中，若所述多個執行器節點中目標執行器節點的數據表中包括所述待處理字段的字段名，則采用所述目標執行器節點，根據所述待處理字段的字段值，對所述目標執行器節點的數據表進行操作，包括：

若所述目標執行器節點的數據表中包括所述待處理字段的字段名，則采用所述目標執行器節點，比對所述目標執行器節點的數據表中所述待處理字段的數量和所述待處理字段的預設數量；

若數量比對結果為相同，則采用所述目標執行器節點，根據所述待處理字段的字段值，對所述目標執行器節點的數據表進行操作。

在一可能的實現方式中，所述方法還包括：

若所述數量比對結果為不相同，則采用所述目標執行器節點進行報錯提示。

在一可能的實現方式中，所述判斷所述每個執行器節點的數據表中是否包括所述待處理字段的字段名之前，所述方法還包括：

采用所述驅動器節點將至少一個所述預設數據庫的數據存儲至所述預設數據庫的數據表；

采用所述驅動器節點對所述預設數據庫的數據表進行分割，得到多個分區；

采用所述驅動器節點將所述多個分區分配至所述多個執行器節點。