[發明專利]一種全量數據比對方法、裝置、設備及存儲介質

在審

• 申請號: 202110200812.0
• 申請日: 2021-02-23
• 公開（公告）號: CN112905699A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 楊波
• 申請（專利權）人: 京東數科海益信息科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2458;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉翠香

1.一種全量數據比對方法，其特征在于，應用于協調服務器，所述協調服務器分別與分布式集群的每個服務節點通信連接，每個服務節點中存儲有全量比對數據；所述方法包括：

獲得服務節點與比對數據對應關系；

將所述服務節點與比對數據對應關系下發給所述分布式集群的每個服務節點，以使每個服務節點根據所述服務節點與比對數據對應關系，遍歷所述全量比對數據，將各自對應的比對數據加載到內存中；

在接收到數據比對指令的情況下，將比對目標下發給所述分布式集群的每個服務節點，以使每個服務節點將各自內存中的比對數據與所述比對目標進行比對。

2.根據權利要求1所述的方法，其特征在于，在所述將比對目標下發給所述分布式集群的每個服務節點之前，還包括：

確定所述分布式集群是否處于服務可用狀態；

如果是，則執行所述將比對目標下發給所述分布式集群的每個服務節點的步驟。

3.根據權利要求2所述的方法，其特征在于，所述確定所述分布式集群是否處于服務可用狀態，包括：

確定在所述協調服務器中為每個服務節點創建的臨時節點是否均存在；

如果均存在，則確定所述分布式集群處于服務可用狀態。

4.根據權利要求3所述的方法，其特征在于，還包括：

在接收到任意一個服務節點的緩存反饋信息的情況下，為相應服務節點創建對應的臨時節點，所述緩存反饋信息為所述相應服務節點將對應的比對數據均加載到內存后發出的信息；

在任意一個服務節點離線的情況下，移除相應服務節點對應的臨時節點。

5.根據權利要求1所述的方法，其特征在于，還包括：

在所述分布式集群中有服務節點變更，且變更后的所述分布式集群中每個服務節點存儲有所述全量比對數據的情況下，更新所述服務節點與比對數據對應關系；

重復執行所述將所述服務節點與比對數據對應關系下發給所述分布式集群的每個服務節點的步驟。

6.根據權利要求5所述的方法，其特征在于，所述更新所述服務節點與比對數據對應關系，包括：

在所述分布式集群中有服務節點離線，使用新節點替換離線節點的情況下，將所述服務節點與比對數據對應關系中所述離線節點的標識替換為所述新節點的標識；

在所述分布式集群中有服務節點離線，使用原有在線節點替補離線節點的情況下，確定所述分布式集群中每個在線節點的剩余內存占比；根據所述剩余內存占比，在所述在線節點中確定所述離線節點的替補節點；將所述服務節點與比對數據對應關系中所述離線節點對應的比對數據分配給所述替補節點；

在所述分布式集群中沒有服務節點離線，但增加有新節點的情況下，根據所述分布式集群中每個服務節點的內存占用比例，更新所述服務節點與比對數據對應關系。

7.根據權利要求1至6之中任一項所述的方法，其特征在于，還包括：

獲得每個服務節點反饋的比對結果；

根據所述比對結果，確定并輸出所述比對目標的匹配結果。

8.一種全量數據比對裝置，其特征在于，應用于協調服務器，所述協調服務器分別與分布式集群的每個服務節點通信連接，每個服務節點中存儲有全量比對數據；所述裝置包括：

對應關系獲得模塊，用于獲得服務節點與比對數據對應關系；

對應關系下發模塊，用于將所述服務節點與比對數據對應關系下發給所述分布式集群的每個服務節點，以使每個服務節點根據所述服務節點與比對數據對應關系，遍歷所述全量比對數據，將各自對應的比對數據加載到內存中；

數據比對模塊，用于在接收到數據比對指令的情況下，將比對目標下發給所述分布式集群的每個服務節點，以使每個服務節點將各自內存中的比對數據與所述比對目標進行比對。

9.一種全量數據比對設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述全量數據比對方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述全量數據比對方法的步驟。