[發明專利]一種全量數據比對方法、裝置、設備及存儲介質

在審

• 申請號: 202110200812.0
• 申請日: 2021-02-23
• 公開（公告）號: CN112905699A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 楊波
• 申請（專利權）人: 京東數科海益信息科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2458;H04L29/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉翠香

本申請公開了一種全量數據比對方法，應用于協調服務器；該方法包括：獲得服務節點與比對數據對應關系；將該對應關系下發給分布式集群的每個服務節點，以使每個服務節點根據服務節點與比對數據對應關系，遍歷存儲的全量比對數據，將各自對應的比對數據加載到內存中；在接收到數據比對指令的情況下，將比對目標下發給分布式集群的每個服務節點，以使每個服務節點將各自內存中的比對數據與比對目標進行比對。應用本申請所提供的技術方案，實現了全量數據比對，每個服務節點只基于自身內存中緩存的比對數據與比對目標進行比對，可以減少總的比對時長，提高比對效率。本申請還公開了一種全量數據比對裝置、設備及存儲介質，具有相應技術效果。

技術領域

本申請涉及計算機應用技術領域，特別是涉及一種全量數據比對方法、裝置、設備及存儲介質。

背景技術

隨著計算機技術、互聯網技術的快速發展，各種業務數據的數據量不斷增長，需要進行數據比對的場景越來越多。比如，在身份核驗、風控等場景需要進行人臉數據比對，在考勤、認證等場景中需要進行指紋數據比對，在車輛監控場景中需要進行車輛數據比對等。以進行人臉數據比對為例，可以將人臉圖片通過AI(Artificial Intelligence，人工智能)模型計算出人臉特征向量，然后計算任意兩張圖片對應的人臉特征向量的距離值，判斷兩張圖片中的人是否為同一個人。

在進行數據比對時，往往需要將比對目標與全量比對數據進行比對。比如，用戶注冊后，應用系統比對全量人臉庫判斷用戶是否存在反復注冊賬號的行為。對于全量數據比對，目前多是通過一臺機器存儲全量比對數據，然后將比對目標逐一與全量比對數據中的每個比對數據進行比對。

這種方式存在一定的缺點，當全量比對數據的數據量較大時，這臺機器的 IO(Input/Output，輸入/輸出)開銷較大，數據比對過程將會耗費較長時間，比對效率較低。

發明內容

本申請的目的是提供一種全量數據比對方法、裝置、設備及存儲介質，以減少全量數據比對的耗時，提高比對效率。

為解決上述技術問題，本申請提供如下技術方案：

一種全量數據比對方法，應用于協調服務器，所述協調服務器分別與分布式集群的每個服務節點通信連接，每個服務節點中存儲有全量比對數據；所述方法包括：

獲得服務節點與比對數據對應關系；

將所述服務節點與比對數據對應關系下發給所述分布式集群的每個服務節點，以使每個服務節點根據所述服務節點與比對數據對應關系，遍歷所述全量比對數據，將各自對應的比對數據加載到內存中；

在接收到數據比對指令的情況下，將比對目標下發給所述分布式集群的每個服務節點，以使每個服務節點將各自內存中的比對數據與所述比對目標進行比對。

在本申請的一種具體實施方式中，在所述將比對目標下發給所述分布式集群的每個服務節點之前，還包括：

確定所述分布式集群是否處于服務可用狀態；

如果是，則執行所述將比對目標下發給所述分布式集群的每個服務節點的步驟。

在本申請的一種具體實施方式中，所述確定所述分布式集群是否處于服務可用狀態，包括：

確定在所述協調服務器中為每個服務節點創建的臨時節點是否均存在；

如果均存在，則確定所述分布式集群處于服務可用狀態。

在本申請的一種具體實施方式中，還包括：

在接收到任意一個服務節點的緩存反饋信息的情況下，為相應服務節點創建對應的臨時節點，所述緩存反饋信息為所述相應服務節點將對應的比對數據均加載到內存后發出的信息；

在任意一個服務節點離線的情況下，移除相應服務節點對應的臨時節點。