[發明專利]一種基于多數據源中相同用戶的數據整合方法和系統

在審

• 申請號: 202011610394.4
• 申請日: 2020-12-29
• 公開（公告）號: CN112732713A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 張永強;荊豪明;尹維陽;陳臣;周小欠;周吉祥
• 申請（專利權）人: 鄭州信大捷安信息技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/25
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 陳勇

本發明涉及一種基于多數據源中相同用戶的數據整合方法和系統，所述方法包括從所述第三方用戶系統的數據中逐一取出單條數據，通過解析獲取用戶標識信息，并使用歸一化算法將所述用戶標識信息與集中安全管理系統中存入的用戶表中的用戶關聯項進行匹配，若用戶標識信息與所述用戶關聯項匹配，則更新所述用戶標識信息到用戶關聯項中，并將該條數據關聯到用戶關聯項下，若用戶標識信息與所述用戶關聯項不匹配，則按照所述用戶表的格式新建一個用戶關聯項，并將所述用戶標識信息填入新建的所述用戶關聯項中，同時將該條數據關聯到新建的用戶關聯項下。從本發明能夠對不同數據源的用戶體系進行歸一化處理，解決用戶數據孤島、用戶體系不統一的問題。

技術領域

本發明涉及數據處理技術領域，具體涉及一種基于多數據源中相同用戶的數據整合方法和系統。

背景技術

在集中安全管理系統建設過程中，需要設置對接多種系統的用戶體系，如終端用戶體系、應用支撐用戶體系、筆記本用戶體系、政務微信用戶體系等，然而這些系統中的用戶體系可能出現重疊，即系統1中的用戶標識1和系統2中的用戶標識2屬于同一個用戶，如果不對多個系統的用戶進行關聯處理，則容易造成用戶數據呈現孤島，以及用戶體系不統一的問題。

如專利文獻CN107784520A公開的一種航空公司營銷數據整合系統及方法，其中通過對客戶、渠道、產品的底層數據關系建立航空營銷數據整合模型，生成標號對數據進行統一管理，從而實現數據的整合，但此類型的方法忽略了集合中子集間的關系，通過無限擴存編號的方法實現數據整合，在單一子集下存在多個編號，多個第三方用戶系統數據相互獨立不能互通。

發明內容

本發明為解決現有數據管理系統存在數據孤島的問題提供了一種基于多數據源中相同用戶的數據整合方法和系統，通過對多數據源的數據基于相同用戶進行歸一化處理，從而統一了用戶體系，可以對用戶數據進行有效的關聯分析，保證了用戶數據的一致性，從而解決了用戶數據孤島問題。

為了實現上述目的，本發明的技術方案是：

一方面，本發明提供了一種基于多數據源中相同用戶的數據整合方法，所述方法包括以下步驟：

步驟1采集階段：集中安全管理系統接收至少一個第三方用戶系統的數據，并存儲在本地數據庫中；

步驟2提取階段：從所述第三方用戶系統的數據中逐一取出單條數據，通過解析獲取用戶標識信息，并使用歸一化算法將所述用戶標識信息與集中安全管理系統中存入的用戶表進行匹配；

步驟3整合階段：

步驟3.1：判斷用戶標識信息與用戶表內的用戶關聯項是否相匹配；

步驟3.2：若用戶標識信息與所述用戶關聯項匹配，則更新所述用戶標識信息到用戶關聯項中，并將該條數據關聯到用戶關聯項下；

步驟3.3：若用戶標識信息與所述用戶關聯項不匹配，則按照所述用戶表的格式新建一個用戶關聯項，并將所述用戶標識信息填入新建的所述用戶關聯項中，同時將該條數據關聯到新建的用戶關聯項下。

進一步地，所述方法還包括連續整合階段：

依次重復執行采集階段、提取階段及整合階段，將多個所述第三方用戶系統的數據進行匹配及歸一化算法處理，并形成一個包括所有數據源的全量用戶表。

進一步地，步驟2所述用戶標識信息包括身份證號、工號、手機號、設備物理識別號、Android ID、SIM卡物理識別號以及數字證書的任意一種數據或多種數據。

進一步地，所述用戶表的格式表征為：用戶表的橫向表頭信息包括身份證號、工號、手機號、設備物理識別號、Android ID、SIM卡物理識別號以及數字證書；

用戶表的縱向表頭信息包括全局用戶標識ID，所述全局用戶標識ID隨用戶關聯項產生自動生成，全局用戶標識ID與用戶關聯項一一對應。