[發明專利]一種云視頻開放平臺精細化用戶畫像實時推薦方法

在審

• 申請號: 202110682122.3
• 申請日: 2021-06-20
• 公開（公告）號: CN113392113A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 徐一堯;夏虹;蔣澤飛
• 申請（專利權）人: 杭州登虹科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/2453;G06F16/2458;G06F16/958;G06F16/23
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種云視頻開放平臺精細化用戶畫像實時推薦方法，包括以下步驟，數據打標可以分為離線和實時兩條路，離線的部分，每天凌晨從數據庫拉取全量的數據到odps系統，對標簽按照固定邏輯進行分類，時的部分，收集數據庫變更信息binlog到datahub消息中間件，再由flink對topic的消息進行消費，通過實時Sql邏輯篩選用戶，將剛才篩選歸類后的用戶，按照pk（app應用編碼）和user_id（用戶id）作為唯一索引，以當前時間數據為最新數據upsert到數據表中；該云視頻開放平臺精細化用戶畫像實時推薦方法，新型架構在T+1的基礎上，增加了對當天新增數據的插入，當天新增數據的更新以及歷史數據的更新操作，使標簽可以實時更新，活動可以實時推送。

技術領域

本發明涉及大數據技術領域，尤其涉及一種云視頻開放平臺精細化用戶畫像實時推薦方法。

背景技術

隨著數據量的增多，公司需要從海量的數據中提取針對每一個用戶的個性數據，從而形成千人千面的活動推送營銷，這是現在智能化推薦很重要的發展方向，目前主要存在的問題是如何在精準度和實時性方面有所提升，由于數據領域現在處于由離線T+1形態到實時流處理形態的發展歷程之中，所以相對應的應用也在更新當中，如何將離線的打標系統變更為實時的打標系統，這是需要解決的問題。

發明內容

本發明的目的在于提供一種云視頻開放平臺精細化用戶畫像實時推薦方法，以解決如何實時產生精細化標簽進行活動推薦的問題。

為了實現上述目的，本發明采用了如下技術方案：設計一種云視頻開放平臺精細化用戶畫像實時推薦方法，包括以下步驟；

步驟一：數據打標可以分為離線和實時兩條路；

步驟二：離線的部分，每天凌晨從數據庫拉取全量的數據到odps系統，對標簽按照固定邏輯進行分類；

步驟三：時的部分，收集數據庫變更信息binlog到datahub消息中間件，再由flink對topic的消息進行消費，通過實時Sql邏輯篩選用戶，與此同時在標簽表里面，對每條數據增加了更新時間字段，將剛才篩選歸類后的用戶，按照pk和user_id作為唯一索引，以當前時間數據為最新數據upsert到數據表中；

步驟四：業務方使用精細化標簽數據對特定用戶進活動和廣告的毫秒級實時精準推薦；

步驟五：指定標簽用戶數量統計計算方面，在odps層面對數據進行邏輯維度上的腳本解耦；

步驟六：tags_merge這個腳本中，將上面每一個模塊所打標的結果合并成寬表并插入到各自的目標字段，使用Hologres對該寬表進行加速映射，使用API網關，采用高級SQL對前端查詢進行靈活響應，可以對不同緯度數據合并，毫秒級響應查詢。

優選的，所述字段有tag1到tag9共9個字段。

本發明提出的一種云視頻開放平臺精細化用戶畫像實時推薦方法，有益效果在于：以往技術是采用T+1（隔天）的方式對用戶標簽進行分類規整，在時效性方面有所不足，新型架構在T+1的基礎上，增加了對當天新增數據的插入，當天新增數據的更新以及歷史數據的更新操作，使標簽可以實時更新，活動可以實時推送，在第一時間可以將用戶行為數據變現，在時效性上有了極大程度的提升。

附圖說明

圖1為本發明的流程圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。

參照圖1，一種云視頻開放平臺精細化用戶畫像實時推薦方法，包括以下步驟；

步驟一：數據采集層面的設計，離線數據采集使用DTS-DataX每天凌晨定時采集到大數據系統（HDFS），實時數據采集使用DTS-Canal監控數據庫的Binlog，到入到DataHub的Topic中；