[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202210511669.1
• 申請日: 2022-05-12
• 公開（公告）號: CN114610959B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設(shè)計）人: 閆長虎;張紹震;秦元;黃智浩;嚴羽
• 申請（專利權(quán)）人: 恒生電子股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F11/34;G06K17/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

1.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于數(shù)據(jù)處理平臺中多個執(zhí)行器節(jié)點中每個執(zhí)行器節(jié)點，所述數(shù)據(jù)處理平臺中還具有驅(qū)動器節(jié)點，所述方法包括：

采用所述驅(qū)動器節(jié)點獲取待處理字段的信息，所述待處理字段的信息包括：所述待處理字段的字段名和對應(yīng)的字段值；

采用所述每個執(zhí)行器節(jié)點，判斷所述每個執(zhí)行器節(jié)點的數(shù)據(jù)表中是否包括所述待處理字段的字段名，其中，所述每個執(zhí)行器節(jié)點的數(shù)據(jù)表為將預設(shè)數(shù)據(jù)庫的數(shù)據(jù)表分割為多個分區(qū)中的任一數(shù)據(jù)表；

若所述多個執(zhí)行器節(jié)點中目標執(zhí)行器節(jié)點的數(shù)據(jù)表中包括所述待處理字段的字段名，則采用所述目標執(zhí)行器節(jié)點，根據(jù)所述待處理字段的字段值，對所述目標執(zhí)行器節(jié)點的數(shù)據(jù)表進行操作；

所述若所述多個執(zhí)行器節(jié)點中目標執(zhí)行器節(jié)點的數(shù)據(jù)表中包括所述待處理字段的字段名，則采用所述目標執(zhí)行器節(jié)點，根據(jù)所述待處理字段的字段值，對所述目標執(zhí)行器節(jié)點的數(shù)據(jù)表進行操作，包括：

若所述目標執(zhí)行器節(jié)點的數(shù)據(jù)表中包括所述待處理字段的字段名，則采用所述目標執(zhí)行器節(jié)點，比對所述目標執(zhí)行器節(jié)點的數(shù)據(jù)表中所述待處理字段的數(shù)量和所述待處理字段的預設(shè)數(shù)量；

若數(shù)量比對結(jié)果為相同，則采用所述目標執(zhí)行器節(jié)點，根據(jù)所述待處理字段的字段值，對所述目標執(zhí)行器節(jié)點的數(shù)據(jù)表進行操作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

若所述數(shù)量比對結(jié)果為不相同，則采用所述目標執(zhí)行器節(jié)點進行報錯提示。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷所述每個執(zhí)行器節(jié)點的數(shù)據(jù)表中是否包括所述待處理字段的字段名之前，所述方法還包括：

采用所述驅(qū)動器節(jié)點將至少一個所述預設(shè)數(shù)據(jù)庫的數(shù)據(jù)存儲至所述預設(shè)數(shù)據(jù)庫的數(shù)據(jù)表；

采用所述驅(qū)動器節(jié)點對所述預設(shè)數(shù)據(jù)庫的數(shù)據(jù)表進行分割，得到多個分區(qū)；

采用所述驅(qū)動器節(jié)點將所述多個分區(qū)分配至所述多個執(zhí)行器節(jié)點。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用所述目標執(zhí)行器節(jié)點，根據(jù)所述待處理字段的字段值，對所述目標執(zhí)行器節(jié)點的數(shù)據(jù)表進行操作，包括：

采用所述目標執(zhí)行器節(jié)點將所述待處理字段的信息存儲至緩存數(shù)據(jù)表；

若所述緩存數(shù)據(jù)表中字段滿足預設(shè)數(shù)量條件，則采用所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點，根據(jù)所述緩存數(shù)據(jù)表中字段的字段值，對所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點的數(shù)據(jù)表進行批量操作，其中，所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點包括：所述目標執(zhí)行器節(jié)點。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述采用所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點，根據(jù)所述緩存數(shù)據(jù)表中字段的字段值，對所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點的數(shù)據(jù)表進行批量操作，包括：

若所述緩存數(shù)據(jù)表的字段包括待插入字段，則采用所述待插入字段對應(yīng)的執(zhí)行器節(jié)點，將所述待插入字段的字段值批量插入到所述待插入字段對應(yīng)的執(zhí)行器節(jié)點的數(shù)據(jù)表。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述采用所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點，根據(jù)所述緩存數(shù)據(jù)表中字段的字段值，對所述緩存數(shù)據(jù)表中字段對應(yīng)的執(zhí)行器節(jié)點的數(shù)據(jù)表進行批量操作，包括：

若所述緩存數(shù)據(jù)表中字段包括待更新字段，則采用所述待更新字段對應(yīng)的執(zhí)行器節(jié)點，根據(jù)所述待更新字段的字段值批量更新所述待更新字段對應(yīng)的執(zhí)行器節(jié)點的數(shù)據(jù)表。