[發明專利]一種基于增量協同過濾的UGC相關視頻生成方法

在審

• 申請號: 201710517911.5
• 申請日: 2017-06-29
• 公開（公告）號: CN107343209A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 文輝;江永青;紀達麒;高翔;紀傳俊
• 申請（專利權）人: 達而觀信息科技（上海）有限公司
• 主分類號: H04N21/25
• 分類號: H04N21/25;H04N21/258;H04N21/466
• 代理公司: 北京卓唐知識產權代理有限公司11541
• 代理人: 唐海力,韓來兵

技術領域

本發明涉及用戶行為分析及推薦方法，特別涉及一種基于增量協同過濾的UGC相關視頻生成方法。

背景技術

視頻UGC網站存在用戶大量持續上傳的視頻，與非UGC視頻相比，UGC視頻存在時長較短、更新時間快、生命周期短等特點。UGC視頻的相關推薦是指根據給定的一個視頻，推薦與其最相似(相關)的TOP K個視頻。相關視頻結果的應用場景包括：

1)個性化推薦

用戶觀看了視頻A，為其推薦與視頻A相關的視頻結果。

2)相關推薦

將視頻A的相關視頻結果置于播放頁的相關視頻推薦位。

協同過濾算法根據用戶對物品的行為，更新物品間的共現數據和用戶的興趣分布數據，以計算物品間和用戶間的相似度，進行基于物品或用戶的協同推薦。相關視頻結果可以采用基于物品的協同過濾算法(Item Base CF，簡稱ICF)計算可得，即利用視頻間的共現程度來計算視頻兩兩之間的相似度，從而計算出最相關的K個視頻。

由于ICF算法需要大量的用戶行為數據進行離線計算，而UGC視頻的生命周期又較短，新視頻i生成后，隨著用戶不斷對其產生觀看行為，可以通過共同用戶觀看數計算出視頻i的相關推薦視頻結果。然后由于傳統ICF算法的離線計算特點，如每天計算一次，由于是定期更新，因此相關視頻結果存在嚴重的滯后性，導致相關視頻結果存在空窗期，同時用戶的個性化推薦結果也存在不精準的問題。因此需要一種增量的ICF方法，快速、實時地捕捉用戶行為，提高ICF相關視頻結果的時效性。

UGC視頻增量ICF的難點：

由于用戶觀看行為不斷產生，如果對每一條用戶行為都去更新相關視頻ICF結果，將會帶來大量的計算量。因此需要選擇有效的候選相似視頻數據對，針對候選視頻數據對計算它們的相似性，同時又需要將產生的用戶行為盡快的反饋到ICF相關視頻結果中。

發明內容

本發明要解決的技術問題是，通過GPS坐標位置實現登山記錄及登山耗時統計，包括每座山的登山點入口位置、山頂名稱；通過APP和微信公眾號來統計用戶的登山記錄，登山耗時。

解決上述技術問題，本發明提供了一種基于增量協同過濾的UGC相關視頻生成方法，包括：

實時讀取原始的用戶播放行為數據UserPlayLog，并進行預處理，輸出用戶播放數據UserPlayData，UserPlayData格式為：userid，[(videoid_1，ref_1)，(videoid_2，ref_2)，…(videoid_i，ref_i)]，userid為用戶數據，videoid_i為該用戶觀看過的視頻數據，ref_i為與視頻數據videoid_i的用戶得分數據；按照UserPlayData中的userid對觀看行為進行聚合，同時對觀看視頻次數過多的用戶進行過濾；

讀取用戶播放數據UserPlayData，對用戶播放數據中視頻數據videoid_i進行聚合，統計出每個視頻數據相對應的用戶得分數據總和：將增量視頻流行度和歷史數據進行合并，計算并輸出視頻的最終流行度數據VideoPopularityData；

讀取用戶播放數據UserPlayData，根據所述用戶播放數據獲取所有用戶中觀看任意兩個視頻的視頻數據對(videoid_i,videoid_j)，并按照所述視頻數據對進行聚合，得到RtCooccurData，字段包括(videoid_i,videoid_j),rt_count_ij，其中rt_count_ij為增量共現數據，表示同時觀看過視頻videoid_i和videoid_j用戶的個數；

讀取增量數據RtCooccurData及歷史數據HisCooccurData，根據歷史共現數據his_count_ij和增量共現數據rt_count_ij計算最終的共現數據count_ij，計算時并對歷史數據進行衰減所述HisCooccurData字段為(videoid_i,videoid_j),his_count_ij；

對于每一個視頻數據對，分別對視頻數據對中的兩個視頻數據videoid_i和videoid_j進行聚合操作，獲取最后的相關視頻列表。

更進一步的，如前述的基于增量協同過濾的UGC相關視頻生成方法，所述對其中視頻數據videoid_i進行聚合，統計出每個視頻數據相對應的用戶得分數據總和具體為：

通過下述公式統計出videoid的ref總和：