[發明專利]一種數據碰撞方法及裝置

有效

• 申請號: 202110040425.5
• 申請日: 2021-01-13
• 公開（公告）號: CN112732761B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 劉祥;張超;單曉暉;任培培;陳洪楠;夏婷
• 申請（專利權）人: 青島海信網絡科技股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/248;G06F16/22
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明公開了一種數據碰撞方法及裝置，其中方法為：獲取多個第一數據集和第二數據集；所述多個第一數據集中任意第一數據集為滿足第一查詢條件的數據集；所述第一查詢條件為多個第一查詢條件中任一第一查詢條件；所述第二數據集為滿足第二查詢條件的數據集；所述第二查詢條件為所述多個第一查詢條件的并集；針對所述第二數據集中任一條數據記錄，確定所述數據記錄與所述多個第一數據集的多個數據碰撞結果；根據所述多個數據碰撞結果，確定所述數據記錄的條件組合指示信息；所述條件組合指示信息用于指示所述多個第一查詢條件中第一查詢條件的組合情形。

技術領域

本發明涉及數據碰撞技術領域，尤其涉及一種數據碰撞方法及裝置。

背景技術

在一些應用場景下，需要進行數據碰撞，即從不同查詢條件下的海量數據 中找到相互匹配的數據。如在追蹤目標人員時，推測目標人員a2時間段在a1 地出現且有可能在b2時間段流竄到b1地。那么便需要找到A條件(a1地a2 時間段)下的人員流動信息數據與B條件(b1地b2時間段)下的人員流動信 息數據中相匹配的人員流動信息，以便縮小目標人員的追蹤范圍。

目前的匹配方式中，可能要在多個條件組合尋找，解決方案是先對各種組 合條件下的數據進行對比，得到各種組合條件下的數據的交集。如有A、B、C 和D四個條件，那么需要匹配的條件組合包括AB、AC、…C D、ABC、…、 BCD和ABCD等條件組合。顯然，這樣多種組合下每種都需要數據表連接操 作，會導致計算量大且復雜。因此，目前數據碰撞的計算量較大是一個亟待解 決的問題。

發明內容

本發明提供一種數據碰撞方法及裝置，解決了現有技術中數據碰撞的計算 量較大的問題。

第一方面，本發明提供一種數據碰撞方法，包括：

獲取多個第一數據集和第二數據集；所述多個第一數據集中任意第一數據 集為滿足第一查詢條件的數據集；所述第一查詢條件為多個第一查詢條件中任 一第一查詢條件；所述第二數據集為滿足第二查詢條件的數據集；所述第二查 詢條件為所述多個第一查詢條件的并集；

針對所述第二數據集中任一條數據記錄，確定所述數據記錄與所述多個第 一數據集的多個數據碰撞結果；根據所述多個數據碰撞結果，確定所述數據記 錄的條件組合指示信息；所述條件組合指示信息用于指示所述多個第一查詢條 件中第一查詢條件的組合情形。

上述方式下，由于所述第二數據集為滿足第二查詢條件的數據集，所述第 二查詢條件為所述多個第一查詢條件的并集，任意第一數據集為滿足第一查詢 條件的數據集，那么所述第二數據集中每個數據記錄與所述多個第一數據集中 每個第一數據集的數據碰撞結果都會記錄在所述數據記錄的條件組合指示信 息中，因此，只需要每個數據記錄分別與所述多個第一數據集確定數據碰撞結 果，便可以直接根據所述多個數據碰撞結果，確定所述數據記錄的條件組合指 示信息，從而指示出具體的查詢條件的組合情形，不需要再不同條件組合下的 數據集都對比，從而降低了目前數據碰撞的計算量。

可選的，所述根據所述多個數據碰撞結果，確定所述數據記錄的條件組合 指示信息之后，還包括：

根據所述第二數據集中各數據記錄的條件組合指示信息，按照不同的條件 組合對所述第二數據集中各數據記錄進行分組。

上述方法中，按照不同的條件組合對所述第二數據集中各數據記錄進行分 組，可以更直觀地展示出每種條件組合的情況。

可選的，所述第二數據集中任一數據記錄的條件組合指示信息具體包括多 個第一字段和\或第二字段；所述多個第一字段用于指示所述數據記錄是否滿足 所述多個第一查詢條件中的各第一查詢條件；所述第二字段用于指示所述數據 記錄滿足所述多個第一查詢條件的程度，所述第二字段的取值是根據所述數據 記錄滿足所述多個第一查詢條件的個數得到的。

上述方法中，通過多個第一字段和\或第二字段可以表征所述數據記錄的查 詢條件組合的情形，從而能夠直接指示出數據記錄相應的條件查詢組合。