[發明專利]一種基于自適應微調策略的跨領域序列推薦方法

有效

• 申請號: 201911272877.5
• 申請日: 2019-12-12
• 公開（公告）號: CN111159542B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 陳磊;楊敏;原發杰;呂子鈺;李成明
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06Q30/0601;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏

本發明提供一種基于自適應微調策略的跨領域序列推薦方法。該方法包括：構建序列推薦模型，根據用戶在源領域的行為訓練該序列推薦模型，獲得用于反映用戶在源領域行為習慣的預訓練序列推薦模型；結合用戶在目標領域的行為習慣對所述預訓練序列推薦模型的部分已訓練參數進行調整，獲得調整的序列推薦模型；在目標領域，根據給定的用戶行為序列，利用所述調整的序列推薦模型向用戶進行推薦。本發明能夠實現跨領域的序列推薦，提高了跨領域序列推薦的魯棒性和精準性。

技術領域

本發明涉及序列推薦技術領域，尤其涉及一種基于自適應微調策略的跨領域序列推薦方法。

背景技術

隨著電子商務、網上服務平臺及網上交易等互聯網業務的普及，網上用戶行為分析和推薦已成為研究的熱點問題。例如，會話是服務器端用來標識用戶的一種機制，如用戶點擊了一系列商品或者瀏覽了一系列網頁，服務器端為該用戶創建特定的會話，跟蹤其點擊瀏覽行為，可以理解為會話就是具有時序關系的用戶瀏覽記錄序列。序列推薦系統(或稱會話推薦系統)是推薦系統中的一個重要分支，其目的是通過分析用戶的歷史會話序列，對用戶進行精準推薦。在現實生活中用戶往往在某個領域有豐富的瀏覽記錄，在其他領域瀏覽記錄卻非常少，在這樣的領域內為用戶進行精準推薦就變得十分困難，形成一種冷啟動場景，因此如何利用用戶在有豐富瀏覽記錄的源領域的信息，用于在形成冷啟動場景的目標領域為用戶進行精準推薦，是一項非常有意義的研究，這就是跨領域序列推薦系統，其用于解決冷啟動場景下的精準推薦問題。

在現有的技術中，能夠較好地實現單個領域內的序列推薦功能，但在跨領域序列推薦中卻無法發揮作用。例如，目前的序列推薦模型有騰訊公司的GfNextItNet，其結合了遮蔽語言模型和空洞卷積神經網絡，能夠對用戶歷史會話序列進行建模，在序列推薦系統中發揮出優異的效果。然而，在現有的跨領域序列推薦解決方案中，都是通過在用戶源領域數據上先預訓練一個簡單的序列推薦模型，再在目標領域數據上對預訓練模型微調所有參數，來進行跨領域序列推薦。

現有技術主要存在以下問題：1)、在預訓練序列推薦模型過程中無法做到在擁有用戶豐富瀏覽記錄的源領域上預訓練出一個性能良好的序列推薦系統，不能很好地建模用戶在源領域上的瀏覽習慣；2)、在微調預訓練模型過程中選擇微調所有參數是非常耗時以及耗費存儲空間的工作，模型參數量巨大，訓練十分耗時，也十分耗費存儲空間，無法滿足現實要求；3)、微調過程中微調所有參數的模型在訓練過程中很容易過擬合，訓練很不穩定，容易丟失掉預訓練模型中的重要信息，魯棒性較差。

發明內容

本發明的目的在于克服上述現有技術的缺陷，提供一種基于自適應微調策略的跨領域序列推薦方法，能夠解決在目標領域向用戶進行精準推薦的技術問題。

本發明提供一種基于自適應微調策略的跨領域序列推薦方法。該方法包括以下步驟：

構建序列推薦模型，根據用戶在源領域的行為訓練該序列推薦模型，獲得用于反映用戶在源領域行為習慣的預訓練序列推薦模型；

結合用戶在目標領域的行為習慣對所述預訓練序列推薦模型的部分已訓練參數進行調整，獲得調整的序列推薦模型；

在目標領域，根據給定的用戶行為序列，利用所述調整的序列推薦模型向用戶進行推薦。

在一個實施例中，根據以下子步驟獲得所述預訓練序列推薦模型：

構建所述序列推薦模型，該序列推薦模型包括多個空洞卷積神經網絡殘差塊、與該多個空洞卷積神經網絡殘差塊連接的空洞卷積輸出層、與空洞卷積輸出層連接的Softmax層；

基于所構建的序列推薦模型，輸入用戶在源領域的行為序列，隨機遮蔽其中多個項目，利用遮蔽語言模型和所述多個空洞卷積神經網絡殘差塊，預測所遮蔽項目的位置，經訓練獲得所述預訓練序列推薦模型。

在一個實施例中，所選擇的遮蔽項目數量是用戶行為序列總項目數量的30％-40％，所選遮蔽項目中80％被直接遮蔽，10％保持不變，10％被替換。