[發(fā)明專利]一種用戶畫像的實時供數(shù)方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211524959.6
• 申請日: 2022-11-30
• 公開（公告）號: CN115796918A
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計）人: 汪晨;程峰;李耀;彭磊
• 申請（專利權(quán)）人: 武漢眾邦銀行股份有限公司
• 主分類號: G06Q30/0201
• 分類號: G06Q30/0201;G06F16/27;G06F16/23;G06F16/16;G06F16/17
• 代理公司: 成都正煜知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51312
• 代理人: 李龍

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，提供了一種用戶畫像的實時供數(shù)方法、裝置及存儲介質(zhì)。目的在于將原有的從T?1提供數(shù)據(jù)改造為實時給用戶畫像系統(tǒng)提供數(shù)據(jù)。主要方案包括，創(chuàng)建好基礎(chǔ)數(shù)據(jù)表，在上游系統(tǒng)部署ogg源端，OGG源端的E進(jìn)程負(fù)責(zé)讀取ORACLE的歸檔日志并將數(shù)據(jù)庫的更新寫到trail文件中，P進(jìn)程負(fù)責(zé)監(jiān)聽本地trail文件的變化并通過TCP/IP協(xié)議將更新推送到目標(biāo)端的trail文件目錄；目標(biāo)端R進(jìn)程監(jiān)聽本地的trail文件更新，然后將更新發(fā)送到KAFKA；FLINK讀取KAFKA里數(shù)據(jù)，通過定義寫入寫出流，將數(shù)據(jù)插入基礎(chǔ)數(shù)據(jù)表。交易數(shù)據(jù)根據(jù)時間戳取最近十分鐘的數(shù)據(jù)，同步到數(shù)據(jù)庫中，供用戶畫像系統(tǒng)實時查詢數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，提供了一種用戶畫像的實時供數(shù)方法、裝置及存儲介質(zhì)。

背景技術(shù)

80后、90后總計共有3.4億人口，并日益成為金融企業(yè)主要的消費者，但是他們的金融消費習(xí)慣正在改變，他們不愿意到金融網(wǎng)點辦理業(yè)務(wù)，不喜歡被動接受金融產(chǎn)品和服務(wù)。年輕人將主要的時間都消費在移動互聯(lián)網(wǎng)，消費在智能手機(jī)上。平均每個人，每天使用智能手機(jī)的時間超過了3小時，年輕人可能會超過4個小時。瀏覽手機(jī)已經(jīng)成為工作和睡覺之后的，人類第三大生活習(xí)慣，移動APP也成為所有金融企業(yè)的客戶入口、服務(wù)入口、消費入口、數(shù)據(jù)入口。

金融企業(yè)需要借助于戶畫像，來了解客戶，找到目標(biāo)客戶，觸達(dá)客戶。隨著各業(yè)務(wù)線業(yè)務(wù)的發(fā)展，逐漸對用戶畫像和實時數(shù)據(jù)這兩部分的訴求越來越多。對用戶畫像方面，期望有更快、更準(zhǔn)、更方便的人群篩選工具和方便的用戶群體分析能力。對于實時數(shù)據(jù)方面，期望擁有可以實時響應(yīng)的用戶行為，同時在算法特征、指標(biāo)統(tǒng)計、業(yè)務(wù)外顯等業(yè)務(wù)場景有愈來愈多的數(shù)據(jù)實時化的訴求。

針對數(shù)據(jù)實時化的訴求，需要改造現(xiàn)有用戶畫像系統(tǒng)的數(shù)據(jù)處理過程，包括從源系統(tǒng)的數(shù)據(jù)抽取，到畫像指標(biāo)的加工、及數(shù)據(jù)的同步過程都需要優(yōu)化調(diào)整。只要優(yōu)化了數(shù)據(jù)，客戶通過用戶畫像系統(tǒng)查看的數(shù)據(jù)就是最新的。

針對歷史實時數(shù)據(jù)需求無承接方的現(xiàn)象，已有用戶畫像系統(tǒng)無法滿足多樣的人群定向的現(xiàn)狀，及業(yè)務(wù)方進(jìn)一步人群分析的業(yè)務(wù)訴求，提出改造原t-1用戶畫像系統(tǒng)為實時用戶畫像系統(tǒng)，建設(shè)實時數(shù)據(jù)集成、實時數(shù)據(jù)調(diào)度、實時數(shù)據(jù)質(zhì)量中心。該方案針對性地解決了業(yè)務(wù)痛點，滿足了業(yè)務(wù)訴求。

發(fā)明內(nèi)容

本發(fā)明的目的在于將原有的從T-1提供數(shù)據(jù)改造為實時給用戶畫像系統(tǒng)提供數(shù)據(jù)。

為了實現(xiàn)上述目的本發(fā)明采用以下技術(shù)手段：

一種用戶畫像的實時供數(shù)方法，包括以下步驟

步驟1：創(chuàng)建畫像系統(tǒng)的基礎(chǔ)數(shù)據(jù)表，保存從上游系統(tǒng)同步的數(shù)據(jù)；

步驟2：創(chuàng)建好基礎(chǔ)數(shù)據(jù)表，需要從上游系統(tǒng)同步數(shù)據(jù)，在上游系統(tǒng)部署ogg源端，OGG源端和上游數(shù)據(jù)庫運行在一起，在OGG源端運行的有兩個進(jìn)程：E進(jìn)程(Extract)和P進(jìn)程(pump)，E進(jìn)程負(fù)責(zé)讀取ORACLE的歸檔日志并將數(shù)據(jù)庫的更新寫到trail文件中(trial可以理解為OGG特有的一種傳輸數(shù)據(jù)的文件格式)，P進(jìn)程負(fù)責(zé)監(jiān)聽本地trail文件的變化并通過TCP/IP協(xié)議將更新推送到目標(biāo)端的trail文件目錄；

步驟3：目標(biāo)端在OGG源端同一網(wǎng)段內(nèi)服務(wù)器上部署，目標(biāo)端上運行有R進(jìn)程(REPLIACT)，R進(jìn)程監(jiān)聽本地的trail文件更新，然后將更新發(fā)送到KAFKA；

步驟4：在FLINK里構(gòu)建連接KAFKA的連接器，方便對KAFKA數(shù)據(jù)的接入；

步驟5：FLINK讀取數(shù)據(jù)生成時間戳，通過定義寫入寫出流，將數(shù)據(jù)插入到步驟1定義的基礎(chǔ)數(shù)據(jù)表。

步驟6：進(jìn)行增量數(shù)據(jù)統(tǒng)計，交易數(shù)據(jù)根據(jù)步驟5生產(chǎn)的時間戳取最近十分鐘的數(shù)據(jù)，得到指標(biāo)數(shù)據(jù)。

步驟7：把步驟6得到的指標(biāo)數(shù)據(jù)同步到MYSQL、CLICKHOUSE數(shù)據(jù)庫中，供用戶畫像系統(tǒng)實時查詢數(shù)據(jù)。