[發(fā)明專利]基于多個數(shù)據源的自然人數(shù)據處理方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711088455.3
• 申請日: 2017-11-08
• 公開（公告）號: CN107862047B
• 公開（公告）日: 2020-06-16
• 發(fā)明（設計）人: 錢志龍;朱俊贏;馮磊;管大業(yè);徐兆鵬
• 申請（專利權）人: 愛財科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/9032;G06F16/31
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 姚宇吉

1.一種基于多個數(shù)據源的自然人數(shù)據處理方法，其特征在于，包括以下步驟；

獲取來自多個數(shù)據源的自然人數(shù)據表，所述自然人數(shù)據表中包括用戶數(shù)據、列表表名信息以及列表列名信息；對各個所述用戶數(shù)據添加唯一編號信息，得到用戶編號數(shù)據；

根據當前時間信息對用戶編號數(shù)據做時間識別處理，得到用戶時間編碼數(shù)據；同時，根據所述列表表名信息將所述用戶時間編碼數(shù)據存入到圖的頂點集；

根據所述列表列名信息對數(shù)據源兩兩進行并行處理，得到自然人數(shù)據表內列表列名的相似度信息；根據預設閾值將所述相似度信息存入圖的邊集；

根據圖中的所述相似度信息和預設閾值將數(shù)據源進行合并，并根據合并結果獲取對應的當前用戶時間編碼數(shù)據和前一次用戶時間編碼數(shù)據；

根據編碼極值選取所述當前用戶時間編碼數(shù)據和前一次用戶時間編碼數(shù)據分配為超級身份標識；并根據所述超級身份標識對自然人數(shù)據表進行回溯處理，得到多個數(shù)據源歸類后的自然人信息表；

所述根據所述列表列名信息對數(shù)據源兩兩進行并行處理，得到自然人數(shù)據表內列表列名的相似度信息；根據預設閾值將所述相似度信息存入圖的邊集，包括以下步驟；

任意選取兩個數(shù)據源的列表列名的公共列信息，并對所述公共列信息的相同列寬進行求同處理，得到共同列寬值；

并根據每個所述共同列寬值對數(shù)據源的自然人數(shù)據表中進行合并分組，得到自然人分組數(shù)據；

對每個同組的自然人分組數(shù)據之間的關聯(lián)關系進行相似度處理，得到相似度信息；并將相似度信息與預設閾值的進行比較，根據比較結果將相似度信息存入圖的邊集。

2.如權利要求1所述的基于多個數(shù)據源的自然人數(shù)據處理方法，其特征在于，還包括以下步驟；

在根據所述列表列名信息對數(shù)據源兩兩進行并行處理之前，根據預設需求信息配置并行參數(shù)，根據所述并行參數(shù)和所述列表列名信息對數(shù)據源兩兩進行并行處理。

3.如權利要求1所述的基于多個數(shù)據源的自然人數(shù)據處理方法，其特征在于，所述根據編碼極值選取所述當前用戶時間編碼數(shù)據和前一次用戶時間編碼數(shù)據分配為超級身份標識，包括以下步驟；

分別對所述當前用戶時間編碼數(shù)據和前一次用戶時間編碼數(shù)據進行處理，得到各個對應的編碼極值；

將各個對應的編碼極值之間進行比較，選取最小或最大的編碼極值對應的當前用戶時間編碼數(shù)據或前一次用戶時間編碼數(shù)據；

再將所述當前用戶時間編碼數(shù)據或前一次用戶時間編碼數(shù)據分配為超級身份標識。

4.如權利要求1所述的基于多個數(shù)據源的自然人數(shù)據處理方法，其特征在于，還包括以下步驟；

在每個所述用戶數(shù)據中添加唯一編號信息之前，對每個所述用戶數(shù)據進行隨機排列，再對隨機排列結果添加唯一編號信息。