[發明專利]一種基于殘差學習的點擊率預測融合方法

有效

• 申請號: 202010984847.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112102004B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 吳樂;陳雷;鮑俊梅;洪日昌;汪萌
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q30/06;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于殘差學習的點擊率預測融合方法，包括：1.根據點擊率預測數據特點構造訓練數據集；2.獲取樣本基于傳統機器學習的點擊率預測概率；3.獲取基于機器學習模型的預測結果與真實標簽之間的殘差值；4.獲取每個樣本基于深度學習的點擊率預測概率；5.獲得兩類模型聯合訓練的預測結果；6.重復步驟4.2～5以完成一輪次訓練；7.重復步驟4～6至至點擊率預測準確率達到最好；8.對預測結果集進行降序排序，選取前若干個產品進行推薦。本發明基于殘差學習的融合思路，能夠充分挖掘點擊率預測數據中各類型特征背后的隱藏信息，進而更好地捕獲用戶的興趣愛好，并為用戶展示點擊概率更大的產品，以實現更精準的個性化產品推薦任務。

技術領域

本發明涉及個性化推薦、信息檢索、在線廣告等領域，具體地來說是一種基于殘差學習的點擊率預測融合方法，以產品個性化推薦的效果。

技術背景

近年來，隨著互聯網和智能移動設備的普及，各類應用平臺的層出不窮引發了數據規模的爆炸式增長，隨之發展的各類數據挖掘，機器學習，深度學習等技術使得從大規模的用戶產品交互數據中高效精確地挖掘出對用戶有價值的信息，實現個性化推薦成為可能。面對實際應用中用戶和產品項目數量眾多的問題，如何根據用戶歷史點擊記錄提前預測用戶的下一次點擊狀態已成為這些應用平臺有針對性地投放產品的重要內容之一。如廣告搜索中的點擊預測、網頁搜索中的內容排序、推薦系統中的內容優化、運輸網絡中的路線選擇等。這個過程我們通常稱之為點擊率預測(Click-throughrate，CTR)任務。當前點擊率預測(CTR)已經廣泛應用于電商、音樂、電影、社交等移動平臺，實際上，CTR預測任務專注于預測用戶點擊項目的可能性，并且可以為用戶展示具有較大概率的預測項目，以提高個性化推薦的效果，但是其性能往往限制于點擊率預測數據本身的特性。該類數據常常包含稠密數值特征和稀疏類別特征的特點，導致現有模型學習性能不佳。

由于點擊率預測模型通常被認為是一個分類過程，因此當前的解決方案可以分為兩類：傳統的基于機器學習模型和基于深度學習的模型。在這兩類模型中，利用用戶(性別、年齡、職業等)和產品(價格、質量、種類)等豐富的屬性特征對用戶與產品之間交互關系進行建模，根據用戶對產品是否進行點擊操作從而挖掘用戶的個人喜好，從而為用戶展示用戶更有可能點擊的產品，實現個性化推薦的同時還能提高用戶瀏覽產品的效率。但是現實世界中的點擊率預測數據通常包含稠密的數值特征和稀疏的類別特征，而現有的點擊率預測模型通常只關注到一方面的特征，而忽視了另一方面特征上的學習效果。因此，現有點擊率預測方法存在數據利用不充分以及單方面學習的缺陷，造成點擊率預測效果不佳，隨之，各大電商平臺的個性化推薦效果也受到了一定的限制。

通過把分別適用于各類特征的模型進行融合(如：機器學習模型和更適合處理稠密的數值特征，深度學習模型更適合處理稀疏的類別特征)，可以有效地解決現有模型單方面學習的問題。近來，有許多研究者針對當前點擊率預測方法存在的效果不佳的問題提出一系列的融合方法，并且這些方法顯示了同時對線性和非線性特征進行建模的優勢，并在實踐中帶來了更好的性能。然而，對于現有的融合方法來說，它們要不就是基于特征融合，要不就是基于預測結果融合；前者僅將單個模型用作特征提取過程，并沒有直接結合兩類模型的互補優勢，后者還需要一個額外的集成方法來融合兩個單一模型的結果，這就會使得最終模型的預測結果質量在很大程度上依賴于附加集成方法的融合能力綜合提到的兩種融合方式來看，這些融合方法并未有效地考慮不同的模型可以捕獲到數據的不同特征的特點以及不同模型學習能力的差異，也就無法獲得最佳的準確性。所以，探索如何利用傳統機器學習模型和深度神經網絡模型各自的優勢，并有效地融合兩種類型的模型以解決特征學習中的單方面學習的問題，以提高個性化推薦的效果顯得至關重要。

發明內容