[發明專利]序列推薦模型的訓練方法、信息推薦方法及相關裝置

在審

• 申請號: 202011459776.1
• 申請日: 2020-12-11
• 公開（公告）號: CN112559861A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 王佳純;原發杰;吳慶耀;楊敏;李成明;姜青山
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/04
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

本申請公開了一種序列推薦模型的訓練方法、信息推薦方法及相關裝置，該訓練方法包括：獲取第一序列推薦模型；對第一序列推薦模型進行塊復制和堆疊，得到第二序列推薦模型；對第二序列推薦模型進行訓練；將訓練后的第二序列推薦模型作為新的第一序列推薦模型，并再次執行上述步驟，直至訓練后的第二序列推薦模型滿足預設要求。通過這樣的方式，能夠提升序列推薦模型的訓練速度，并提高模型的預測效率。

技術領域

本申請涉及計算機技術領域，特別是涉及一種序列推薦模型的訓練方法、信息推薦方法及相關裝置。

背景技術

在信息爆炸的時代，推薦系統已成為緩解信息過載問題的重要工具，在電商系統、個性化平臺等實際應用中廣泛使用，近年來，序列推薦算法吸引了越來越多的關注，因為序列推薦算法相比于傳統的協同過濾算法，具有更強大的捕獲用戶動態興趣變化的能力，而且序列推薦模型可以通過自監督的方式來訓練，不需要人工標注特征和標簽，因此可以被用來生成高質量的用戶表示，用于解決其他系統的冷啟動問題。

盡管序列推薦模型很有效，但它往往需要很深的神經網絡結構以實現較大的模型容量，來對用戶行為中的復雜關系和長程興趣進行建模。訓練一個很深的神經網絡，要求高昂的計算成本和很長的訓練時間，特別是在真實的推薦系統中，訓練數據可能達到數百億，需要大量的計算資源和時間成本。

發明內容

為了解決上述問題，本申請提供一種序列推薦模型的訓練方法、信息推薦方法及相關裝置，能夠提升序列推薦模型的訓練速度，并提高模型的預測效率。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種序列推薦模型的訓練方法，該方法包括：獲取第一序列推薦模型；對第一序列推薦模型進行塊復制和堆疊，得到第二序列推薦模型；對第二序列推薦模型進行訓練；將訓練后的第二序列推薦模型作為新的第一序列推薦模型，并再次執行上述步驟，直至訓練后的第二序列推薦模型滿足預設要求。

其中，對第一序列推薦模型進行塊復制和堆疊，得到第二序列推薦模型，包括：對第一序列推薦模型中的多個初始塊進行復制，得到多個復制塊；將多個復制塊與多個初始塊進行堆疊，得到第二序列推薦模型。

其中，將多個復制塊與多個初始塊進行堆疊，包括：將每一復制塊堆疊至對應的初始塊上，以使對應的初始塊和復制塊相鄰設置。

其中，將多個復制塊與多個初始塊進行堆疊，包括：將多個復制塊整體堆疊至多個初始塊上，以使多個復制塊和多個初始塊首尾相鄰。

其中，獲取第一序列推薦模型，包括：獲取初始序列推薦模型和第一訓練樣本；利用第一訓練樣本對初始序列推薦模型進行訓練，直至初始序列推薦模型收斂，得到第一序列推薦模型；對第二序列推薦模型進行訓練，包括：獲取第二訓練樣本；利用第二訓練樣本對第二序列推薦模型進行訓練，直至第二序列推薦模型收斂；其中，第二訓練樣本包含第一訓練樣本。

其中，將訓練后的第二序列推薦模型作為新的第一序列推薦模型，并再次執行上述步驟，直至訓練后的第二序列推薦模型滿足預設要求，包括：將訓練后的第二序列推薦模型作為新的第一序列推薦模型，并再次對模型進行塊復制和堆疊，以得到新的第二序列推薦模型；獲取第三訓練樣本，并利用第三訓練樣本對新的第二序列推薦模型進行訓練，直至新的第二序列推薦模型收斂，并在新的第二序列推薦模型未獲取到新的訓練樣本時，完成序列推薦模型的訓練；其中，第三訓練樣本包含第二訓練樣本。

其中，獲取第一序列推薦模型，包括：獲取初始序列推薦模型和第四訓練樣本；利用第四訓練樣本對初始序列推薦模型進行訓練，直至初始序列推薦模型的訓練步數滿足第一預設步數，得到第一序列推薦模型；對第二序列推薦模型進行訓練，包括：利用第四訓練樣本對第二序列推薦模型進行訓練，直至第二序列推薦模型的訓練步數滿足第二預設步數；其中，第二預設步數大于第一預設步數。