[發明專利]一種用戶畫像的實時供數方法、裝置及存儲介質

在審

• 申請號: 202211524959.6
• 申請日: 2022-11-30
• 公開（公告）號: CN115796918A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 汪晨;程峰;李耀;彭磊
• 申請（專利權）人: 武漢眾邦銀行股份有限公司
• 主分類號: G06Q30/0201
• 分類號: G06Q30/0201;G06F16/27;G06F16/23;G06F16/16;G06F16/17
• 代理公司: 成都正煜知識產權代理事務所(普通合伙) 51312
• 代理人: 李龍

1.一種用戶畫像的實時供數方法，其特征在于：包括以下步驟

步驟1：創建畫像系統的基礎數據表，保存從上游系統同步的數據；

步驟2：創建好基礎數據表，需要從上游系統同步數據，在上游系統部署ogg源端，OGG源端和上游數據庫運行在一起，在OGG源端運行的有兩個進程：E進程(Extract)和P進程(pump)，E進程負責讀取ORACLE的歸檔日志并將數據庫的更新寫到trail文件中，P進程負責監聽本地trail文件的變化并通過TCP/IP協議將更新推送到目標端的trail文件目錄；

步驟3：目標端在OGG源端同一網段內服務器上部署，目標端上運行有R進程(REPLIACT)，R進程監聽本地的trail文件更新，然后將更新發送到KAFKA；

步驟4：在FLINK里構建連接KAFKA的連接器，方便對KAFKA數據的接入；

步驟5：FLINK讀取數據生成時間戳，通過定義寫入寫出流，將數據插入到步驟1定義的基礎數據表。

步驟6：進行增量數據統計，交易數據根據步驟5生產的時間戳取最近十分鐘的數據，得到指標數據。

步驟7：把步驟6得到的指標數據同步到MYSQL、CLICKHOUSE數據庫中，供用戶畫像系統實時查詢數據。

2.根據權利要求1所述的一種用戶畫像的實時供數方法，其特征在于：步驟4具體包括以下步驟：

步驟4.1：啟動了一個消費線程從KAFKA中拉取數據，將其存儲到Handover的next對象中；

步驟4.2：循環從Handover的next中獲取數據；

步驟4.3：記錄下當前的offset，更新到線程池，用于初始化的工作消費設置和保存所有的topic的消費信息；

步驟4.4：將消費信息中消費進度數據寫入到臨時對象中；

步驟4.5：將臨時對象中記錄當前批次checkpoint的offset數據提交到KAFKA中；

步驟4.6：KAFKA消息進行轉換，并按照制定類型轉換成對象流；

步驟4.7：將對象流注冊為臨時表；

步驟4.8：拼接多個insert into語句，將臨時表中的數據存入系統基礎數據表。

3.根據權利要求1所述的一種用戶畫像的實時供數方法，其特征在于：步驟6中進行增量數據統計如下：

步驟6.1：直接從基礎數據表取數，增加時間戳條件，取最近十分鐘的數據；

步驟6.2：配置調度任務，每10分鐘初始化用戶畫像相關任務，加工新同步過來的數據。

4.一種用戶畫像的實時供數裝置，其特征在于：包括以下模塊：

基礎數據表模塊：創建畫像系統的基礎數據表，保存從上游系統同步的數據；數據傳輸模塊：創建好基礎數據表，需要從上游系統同步數據，在上游系統部署ogg源端，OGG源端和上游數據庫運行在一起，在OGG源端運行的有兩個進程：E進程(Extract)和P進程(pump)，E進程負責讀取ORACLE的歸檔日志并將數據庫的更新寫到trail文件中，P進程負責監聽本地trail文件的變化并通過TCP/IP協議將更新推送到目標端的trail文件目錄；

數據更新模塊：目標端在OGG源端同一網段內服務器上部署，目標端上運行有R進程(REPLIACT)，R進程監聽本地的trail文件更新，然后將更新發送到KAFKA；

KAFKA連接器：在FLINK里構建連接KAFKA的連接器，方便對KAFKA數據的接入；

數據寫入模塊：FLINK讀取數據生成時間戳，通過定義寫入寫出流，將數據插入到步驟1定義的基礎數據表。

增量統計模塊：進行增量數據統計，交易數據根據步驟5生產的時間戳取最近十分鐘的數據，得到指標數據。

數據保存模塊：把步驟6得到的指標數據同步到MYSQL、CLICKHOUSE數據庫中，供用戶畫像系統實時查詢數據。