[發明專利]基于多頭自注意力模型的目標事項預測方法及裝置

在審

• 申請號: 202310199300.6
• 申請日: 2023-02-28
• 公開（公告）號: CN116150501A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 王雅楠
• 申請（專利權）人: 中國工商銀行股份有限公司;工銀科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/0499;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 葉明川

本發明可用于金融領域中的機器學習技術領域，本發明提供了一種基于多頭自注意力模型的目標事項預測方法及裝置，適應于數據發送發的方法包括：接收用戶行為特征的歷史數據以及用戶的屬性數據；根據所述歷史數據、所述屬性數據以及預生成的用戶事項預測模型預測用戶的目標事項，其中所述用戶事項預測模型是基于多頭自注意力機制所生成的神經網絡模型。本發明可以提升用戶目標事項推薦結果準確性。

技術領域

本發明屬于機器學習技術領域，具體涉及一種基于多頭自注意力模型的目標事項預測方法及裝置

背景技術

目前各大公司的移動通信應用程序(Application，APP)很多都實現了一網通辦，即用戶只要登陸APP即可以辦理不同領域的事項。以某地的政務APP為例，目前可覆蓋的事項達上千項，例如政務類、生活服務、旅游、招聘考試等事項極大地方便了用戶，但同時也帶來了相應的問題，由于用戶的信息需求是多樣的、差異較大，而各領域信息比較獨立、多源、異構，這增加了用戶通過APP辦事的難度，現有技術中的基于向量嵌入技術的個性化推薦模塊適當的緩解了以上問題。

目前，電子APP場景推薦研究目前處于起步階段。現有的特征篩選方式為基于事項本身特征的向量嵌入技術，此深度學習方案并沒有充分利用用戶的行為序列，使得部分用戶行為隱含特征缺失，推薦結果有時候并不能反映用戶的實際意圖，導致推薦的準確率無法達到要求。因此事項推薦的結果欠缺，效率不高，有時還會給用戶帶來一定困惑和不便。

發明內容

本發明可用于機器學習技術在金融方面應用的技術領域，也可用于除金融領域之外的任意領域，本發明所提供的基于多頭自注意力模型的目標事項預測方法及裝置，經線上、線下測試與數據統計，有效地提升了推薦模型的相關評測指標。

為解決本發明背景技術中的技術問題，本發明提供以下技術方案：

第一方面，本發明提供一種基于多頭自注意力模型的目標事項預測方法包括：

接收用戶行為特征的歷史數據以及用戶的屬性數據；

根據所述歷史數據、所述屬性數據以及預生成的用戶事項預測模型預測用戶的目標事項，其中所述用戶事項預測模型是基于多頭自注意力機制所生成的神經網絡模型。

根據本發明實施例的第二方面，所述歷史數據包括：所述用戶的歷史行為特征數據以及其對應的歷史目標事項；生成用戶事項預測模型的步驟包括：

根據所述歷史數據以及所述屬性數據確定所述用戶事項預測模型的初始模型中自注意力層數；

根據歷史目標事項確定所述歷史行為特征數據的位置編碼；

根據所述目標事項的維度確定所述初始模型中的前饋網絡層；

根據多個自注意力層、所述位置編碼以及所述前饋網絡層對所述初始模型進行訓練，以生成所述用戶事項預測模型。

根據本發明實施例的第三方面，所述根據所述歷史數據、所述屬性數據以及預生成的用戶事項預測模型預測用戶的目標事項，包括：

將所述歷史數據、所述屬性數據以及所述目標事項進行向量化嵌入表示，以生成輸入向量；

根據所述多個自注意力層提取所述輸入向量的高維隱含向量；

將所述高維隱含向量輸入至所述用戶事項預測模型，以預測所述目標事項。

根據本發明實施例的第四方面，所述根據多個自注意力層、所述位置編碼以及所述前饋網絡層對所述初始模型進行訓練，包括：

根據所述多個自注意力層以及所述位置編碼確定所述歷史行為特征數據與所述歷史目標事項之間的映射關系；

根據所述映射關系、目標事項以及預設的訓練截止條件對所述初始模型進行訓練。