[發(fā)明專利]基于多個數(shù)據(jù)源的自然人數(shù)據(jù)處理方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711088455.3
• 申請日: 2017-11-08
• 公開（公告）號: CN107862047B
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計）人: 錢志龍;朱俊贏;馮磊;管大業(yè);徐兆鵬
• 申請（專利權(quán)）人: 愛財科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/9032;G06F16/31
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 姚宇吉

本發(fā)明公開了一種基于多個數(shù)據(jù)源的自然人數(shù)據(jù)處理方法和系統(tǒng)，其中方法包括對多個數(shù)據(jù)源的自然人數(shù)據(jù)表的用戶數(shù)據(jù)中添加唯一編號信息和加入當(dāng)前時間信息，得到用戶時間編碼數(shù)據(jù)；根據(jù)列表列名信息對數(shù)據(jù)源兩兩進(jìn)行并行處理，得到自然人數(shù)據(jù)表內(nèi)列表列名的相似度信息；在當(dāng)前時間，根據(jù)圖中的相似度信息和預(yù)設(shè)閾值將數(shù)據(jù)源進(jìn)行合并，同時將合并的自然人數(shù)據(jù)表所有時間對應(yīng)的用戶時間編碼數(shù)據(jù)按照編碼極值分配為超級身份標(biāo)識；最后根據(jù)超級身份標(biāo)識對自然人數(shù)據(jù)表進(jìn)行回溯處理得到多個數(shù)據(jù)源歸類后的自然人信息表。本發(fā)明有效避免了相同超級身份標(biāo)識的產(chǎn)生；減少后續(xù)數(shù)據(jù)處理對資源造成的浪費，而且提高數(shù)據(jù)處理效率，簡化自然人識別的計算復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于多個數(shù)據(jù)源的自然人數(shù)據(jù)處理方法和系統(tǒng)。

背景技術(shù)

倒排索引是現(xiàn)代搜索引擎中使用最廣泛的數(shù)據(jù)結(jié)構(gòu)，它由字典和倒排列表兩部分組成。其中字典保存了對文檔集合進(jìn)行處理后得到的詞項、詞項的文檔頻率以及一個指向該詞項所對應(yīng)倒排列表的指針；倒排列表由多個倒排記錄構(gòu)成，其中每個倒排記錄對應(yīng)包含該詞項的一篇文檔，倒排記錄中記錄的信息包括：文檔序號(稱為docID)，詞項頻率(詞項在該文檔中出現(xiàn)的次數(shù))，位置信息(詞項在文檔中的出現(xiàn)位置)等。

目前，自然人識別的主要方案是利用倒排索引技術(shù)根據(jù)自然人的多維度信息識別自然人，再根據(jù)兩自然人的信息匹配數(shù)量是否超過某一閾值來識別自然人是否為同一自然人。而當(dāng)前識別自然人算法為T+1方式定時執(zhí)行，雖然對于同一自然人的多條記錄在T時和T+1時仍合并為同一自然人，但是對于同一自然人的多條記錄不同時間分配到的super_id(超級身份標(biāo)識)可能相同，這就導(dǎo)致了數(shù)據(jù)冗余，在后續(xù)數(shù)據(jù)處理時，不僅需要花費大量的資源處理相同super_id，浪費存儲資源；而且降低數(shù)據(jù)處理效率，響應(yīng)時間長。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于多個數(shù)據(jù)源的自然人數(shù)據(jù)處理方法和系統(tǒng)，在對同一自然人的多條記錄在T時和T+1時合并為同一自然人時，有效避免了相同超級身份標(biāo)識的產(chǎn)生；減少后續(xù)數(shù)據(jù)處理對資源造成的浪費，而且提高數(shù)據(jù)處理效率，同時簡化自然人識別的計算復(fù)雜度，避免后續(xù)倒排索引算法對自然人識別算法的影響。

本發(fā)明提供了一種基于多個數(shù)據(jù)源的自然人數(shù)據(jù)處理方法，包括以下步驟；

獲取來自多個數(shù)據(jù)源的自然人數(shù)據(jù)表，所述自然人數(shù)據(jù)表中包括用戶數(shù)據(jù)、列表表名信息以及列表列名信息；對各個所述用戶數(shù)據(jù)添加唯一編號信息，得到用戶編號數(shù)據(jù)；

根據(jù)當(dāng)前時間信息對用戶編號數(shù)據(jù)做時間識別處理，得到用戶時間編碼數(shù)據(jù)；同時，根據(jù)所述列表表名信息將所述用戶時間編碼數(shù)據(jù)存入到圖的頂點集；

根據(jù)所述列表列名信息對數(shù)據(jù)源兩兩進(jìn)行并行處理，得到自然人數(shù)據(jù)表內(nèi)列表列名的相似度信息；根據(jù)預(yù)設(shè)閾值將所述相似度信息存入圖的邊集；

根據(jù)圖中的所述相似度信息和預(yù)設(shè)閾值將數(shù)據(jù)源進(jìn)行合并，并根據(jù)合并結(jié)果獲取對應(yīng)的當(dāng)前用戶時間編碼數(shù)據(jù)和前一次用戶時間編碼數(shù)據(jù)；

根據(jù)編碼極值選取所述當(dāng)前用戶時間編碼數(shù)據(jù)和前一次用戶時間編碼數(shù)據(jù)分配為超級身份標(biāo)識；并根據(jù)所述超級身份標(biāo)識對自然人數(shù)據(jù)表進(jìn)行回溯處理，得到多個數(shù)據(jù)源歸類后的自然人信息表。

作為一種可實施方式，所述根據(jù)所述列表列名信息對數(shù)據(jù)源兩兩進(jìn)行并行處理，得到自然人數(shù)據(jù)表內(nèi)列表列名的相似度信息；根據(jù)預(yù)設(shè)閾值將所述相似度信息存入圖的邊集，包括以下步驟；

任意選取兩個數(shù)據(jù)源的列列表列名的公共列信息，并對所述公共列信息的相同列寬進(jìn)行求同處理，得到共同列寬值；

并根據(jù)每個所述共同列寬值對數(shù)據(jù)源的自然人數(shù)據(jù)表中進(jìn)行合并分組，得到自然人分組數(shù)據(jù)；

對每個同組的自然人分組數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行相似度處理，得到相似度信息；并將相似度信息與預(yù)設(shè)閾值的進(jìn)行比較，根據(jù)比較結(jié)果將相似度信息存入圖的邊集。