[發明專利]一種賬號打通的計算方法及系統

在審

• 申請號: 202011433284.5
• 申請日: 2020-12-10
• 公開（公告）號: CN112463065A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 顧廣澤;劉俊
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/182
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李紅巖

本申請公開了一種賬號打通的計算方法及系統。賬號打通的計算方法包括：數據提供步驟：上游提供外部數據；預處理步驟：對外部數據進行預處理；迭代步驟：預處理后的外部數據的Vertex的SuperID進行迭代；選舉步驟：根據選舉規則，選舉出迭代中Vertex的SuperID；判斷步驟:當所述Vertex的SuperID都達到收斂狀態時，達到收斂狀態的Vertex的SuperID存儲到HDFS存儲中。本發明提高了企業針對用戶做數據分析和廣告投放的精準性，節約了企業存儲用戶屬性及行為數據的存儲空間，最終提高了企業數據分析與決策的速度。

技術領域

本申請涉及通信技術領域，尤其涉及一種賬號打通的計算方法及系統。

背景技術

隨著“新零售”的不斷發展，企業的會員賬戶來源已經不限于單一的數據來源。在實際情況下，介于線下和線上或不同線上平臺系統的獨立性，同一個用戶在不同系統記錄的會員賬戶ID可能是不同的。在這種情況下對于企業的營銷數據平臺和廣告數據平臺來說，同一個用戶會被識別成多個用戶，不但造成數據的冗余，而且降低數據平臺分析結果的準確性和可用性。現有技術方案一使用圖數據庫存儲所有從上游系統的IDPairs對，同時使用圖數據庫的計算引擎將兩兩關聯的ID轉成全關聯的圖數據結構存儲。然后使用特定領域的圖數據庫語言計算出圖數據庫中所有關聯的ID的唯一標示，并將此標志作為所有系統端來源的ID的SuperID。方案一可解決上述問題，但此方案依賴于圖數據庫的固有數據結構，對于上游數據的ETL要求比較高；對于大量的IDPairs對關系的迭代計算，市面上的圖數據庫單點計算引擎的可靠性較低；圖數據庫的分布式存儲依賴于有限的第三方存儲，兼容度比較低。基于方案一的所存在的問題，方案二使用Flink的Gelly引擎計算所有的IDpairs對，只要有過綁定關系的ID就視為同屬于一個SuperID的集合，同時利用所有來源端得ID都在自己所在系統的唯一性，再利用統一的選舉規則，從每一個SuperID集合中每個ID中選舉出一個唯一的一個IDValue作為SuperID。此方案雖彌補了方案一的不足，但是簡單的將所有有過綁定關系的ID都作為同一用戶，準確性較低，影響下游數據的使用；錯誤的綁定會導致某一個SuperID集合過大，引發計算的失敗，影響計算的穩定性。

因此，針對以上現狀，本發明提出一種賬號打通的計算方法及系統，將多系統來源的兩兩賬戶映射關系計算生成一個SuperID，來代表所有系統端來源的ID為同一用戶賬號，通過計算SuperID來進行賬號打通，降低了用戶數據存儲的冗余，使用IDType的優先級和綁定關系的時間先后作為計算SuperID的計算規則，以及使用Flink作為計算引擎，減少了將不同自然人綁定為同一用戶的錯誤率，提高了企業數據分析與決策的準確性的同時水平擴展性高，容錯率高，節約了企業存儲用戶屬性及行為數據的存儲空間，最終提高了企業數據分析與決策的速度。

發明內容

本申請實施例提供了一種賬號打通的計算方法及系統，以至少解決相關技術中主觀因素影響的問題。

本發明提供了一種賬號打通的計算方法，包括：

數據提供步驟：上游提供外部數據；

預處理步驟：對所述外部數據進行預處理；

迭代步驟：預處理后的所述外部數據的Vertex的SuperID進行迭代；

選舉步驟：根據選舉規則，選舉出迭代中所述Vertex的SuperID；

判斷步驟:當所述Vertex的所述SuperID都達到收斂狀態時，達到收斂狀態的Vertex的SuperID存儲到HDFS存儲中。

上述的賬號打通的計算方法，所述數據提供步驟包括，上游提供外部數據，所述外部數據包括IDPairs對、解綁IDPairs對、IDType優先級、黑名單。