[發明專利]一種基于時間衰減采樣的廣告點擊預估方法

有效

• 申請號: 201710041277.2
• 申請日: 2017-01-17
• 公開（公告）號: CN106886915B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 董守斌;黃淦;胡金龍;袁華
• 申請（專利權）人: 華南理工大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 羅觀祥

1.一種基于時間衰減采樣的廣告點擊預估方法，其特征在于，包括以下步驟：

S1、數據清洗

對廣告瀏覽/點擊日志進行數據清洗，需要將后臺的數據進行分析，將廣告瀏覽/點擊日志按標志分為RSET和CSET,RSET為所有瀏覽日志的集合，其每條日志標記為0，CSET是所有點擊日志集合，其每條日志標記為1；在RSET中遍歷每一條瀏覽日志，若對于一條瀏覽日志R_i，記R_i的點擊時間為UNIX時間戳時間t_i，用戶ID為UID_i，廣告ID為AID_i，設判別時間間隔閾值為π，如果在CSET中的t_i+π范圍內有UID_i和AID_i均相同的點擊日志命中，則將該瀏覽日志R_i標記為1，如果不命中，則保持R_i的標記為0，最后集合RSET為清洗后的廣告點擊數據集；

S2、預處理

對構建的廣告點擊數據集RSET進行進一步過濾篩選、缺失值填補、異常值檢測，具體如下：

S2.1、過濾篩選及缺失值填補

對廣告點擊數據集中不符合值的取值范圍的數據進行去除處理，對廣告點擊日志的每個字段進行統計分析，對于一個字段，定義該字段在數據集中值為null或者空字符串的記錄為該字段的缺失記錄，記為n，記數據集RSET總記錄數為N，記閾值為K則對于超過預設閾值K的字段不進行保留，對于比例在K之內的字段，將其缺失值賦予一個和該字段其他值都不同的新值，作為正常值使用；另外，對于數據中字段值冗余的情況，消除冗余值；

S2.2、異常值檢測

對數據集中每一個用戶ID進行總點擊次數的統計，并進而統計總點擊次數相同的用戶的個數，記總點擊次數集合為A＝{α₁,α₂,...,α_i,...,α_n}，記相應的用戶個數集合為B＝{β₁,β₂,...,β_i,...,β_n},假設α_i和β_i服從冪律分布，則logα_i和logβ_i呈線性關系，將logα_i和logβ_i作散點圖，用直線去擬合，將從某個點開始偏離擬合線的總點擊次數作為閾值ρ，將總點擊次數α_i大于ρ的用戶作為異常用戶，記正常用戶集合為U，記異常用戶集合為U′，將異常用戶集合U′產生的廣告點擊數據集合記為SET′，將正常用戶集合U產生的廣告點擊數據集合記為SET；

S3、時間衰減采樣

從步驟S2的集合SET中選定連續的m天作為訓練集，第m+1天作為測試集，針對訓練集，將根據時間新鮮度計算得到的時間因子作為權重，分別計算訓練集每天的抽樣比例，將每天抽取的樣本進行組合，形成整體的多份抽樣樣本；其中，依據時間衰減的抽樣，具體過程如下：

選定連續的m天作為訓練集，第m+1天作為測試集后，記m天中的第一天為T₁，第m天為T_m，由此形成T₁,T₂,...,T_t,...,T_m的時間序列數據；根據日期新鮮度為采樣引入時間因子，記λ_t為T_t那天的采樣比例，則λ_t-1為T_t前一天的采樣比例，λ_t+1為T_t后一天的采樣比例；所述時間衰減采樣即是λ_t-1＜λ_t＜λ_t+1的一種采樣方式，其中λ_t由時間衰減函數計算所得，得到λ_t后，若T_t的少數類數量為s，則應該按照欠采樣抽取出λ_ts的多數類數量；

時間衰減采樣有三個參數m，λ₁和λ_m，這三個參數由人為指定，m為訓練集所包含的日期的天數，λ₁為第一天的采樣比例，λ_m為第m天的采樣比例，其中λ₁與λ_m需要滿足0＜λ₁＜λ_m，不同的模型能夠根據實際情況對這三個參數進行相應調優；本采樣通過時間衰減函數來確定采樣比例，時間衰減函數為λ_t＝at²+b，人為確定λ₁和λ_m，時間衰減函數中的參數a和b通過公式(1)(2)求出:

則，在給定m，λ₁和λ_m下，時間衰減函數為公式(3)：

因此，每一天的采樣比例能夠根據公式(3)得到；

確定了時間衰減函數，并通過時間衰減函數為T_t計算出相應的采樣比例λ_t，由此能夠得到訓練集的時間衰減采樣比例序列{λ₁,λ₂,...,λ_t,...,λ_m}，根據采樣比例序列{λ₁,λ₂,...,λ_t,...,λ_m}得到訓練集的m份采樣數據：記T_t的少數類集合為p_t，多數類集合為q_t，|q_t|為q_t包含的記錄總數，然后根據采樣比例λ_t從q_t中隨機抽取出λ_t|q_t|數量的集合，記為q′_t；記從T_t采樣出的數據集為S_t，則有S_t＝p_t∪q′_t，記最終的第t份樣本集為D_t，1≤t≤m，則D_t由公式得到，如此就能夠得到需要的m份抽樣樣本序列{D₁,D₂,...,D_t,...,D_m}；

S4、混合模型構建

S4.1、正常用戶建模

根據步驟S2的集合SET，得到步驟S3構建的m份抽樣樣本序列{D₁,D₂,...,D_t,...,D_m}后，分別為每個樣本集D_t訓練邏輯回歸模型M_t，由此得到m個邏輯回歸模型{M₁,M₂,...,M_t,...,M_m}；

S4.2、異常用戶建模

根據步驟S2的集合SET′，確定和SET一樣的訓練集和測試集日期，用所有訓練數據訓練出邏輯回歸模型M′；

S4.3、點擊預測

根據步驟S2得到的正常用戶集合U，異常用戶集合U′，針對每一條用戶瀏覽請求，若其用戶UID_i∈U，記步驟S4.1的邏輯回歸模型M_t的預測值為ε_t，使用時間衰減的方式進行廣告點擊概率的融合，將時間因子引進模型權重的計算中，根據采樣比例序列{λ₁,λ₂,...,λ_t,...,λ_m}以及邏輯回歸模型{M₁,M₂,...,M_t,...,M_m}，在模型融合時，分別為每個邏輯回歸模型M_t賦予時間衰減的參數，具體地，記采樣比例序列元素之和為將{λ₁,λ₂,...,λ_t,...,λ_m}的每一個元素進行歸一化，記λ_t歸一化之后的值為λ′_t，則記最終的預估概率值為E，則若用戶UID_i∈U′，則直接用模型M′得到該用戶的廣告點擊概率。