[發明專利]基于多頭自注意力模型的目標事項預測方法及裝置

在審

• 申請號: 202310199300.6
• 申請日: 2023-02-28
• 公開（公告）號: CN116150501A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 王雅楠
• 申請（專利權）人: 中國工商銀行股份有限公司;工銀科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/0499;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 葉明川

1.一種基于多頭自注意力模型的目標事項預測方法，其特征在于，包括：

接收用戶行為特征的歷史數據以及用戶的屬性數據；

根據所述歷史數據、所述屬性數據以及預生成的用戶事項預測模型預測用戶的目標事項，其中所述用戶事項預測模型是基于多頭自注意力機制所生成的神經網絡模型。

2.根據權利要求1所述的目標事項預測方法，其特征在于，所述歷史數據包括：所述用戶的歷史行為特征數據以及其對應的歷史目標事項；生成用戶事項預測模型的步驟包括：

根據所述歷史數據以及所述屬性數據確定所述用戶事項預測模型的初始模型中自注意力層數；

根據歷史目標事項確定所述歷史行為特征數據的位置編碼；

根據所述目標事項的維度確定所述初始模型中的前饋網絡層；

根據多個自注意力層、所述位置編碼以及所述前饋網絡層對所述初始模型進行訓練，以生成所述用戶事項預測模型。

3.根據權利要求2所述的目標事項預測方法，其特征在于，所述根據所述歷史數據、所述屬性數據以及預生成的用戶事項預測模型預測用戶的目標事項，包括：

將所述歷史數據、所述屬性數據以及所述目標事項進行向量化嵌入表示，以生成輸入向量；

根據所述多個自注意力層提取所述輸入向量的高維隱含向量；

將所述高維隱含向量輸入至所述用戶事項預測模型，以預測所述目標事項。

4.根據權利要求2所述的目標事項預測方法，其特征在于，所述根據多個自注意力層、所述位置編碼以及所述前饋網絡層對所述初始模型進行訓練，包括：

根據所述多個自注意力層以及所述位置編碼確定所述歷史行為特征數據與所述歷史目標事項之間的映射關系；

根據所述映射關系、目標事項以及預設的訓練截止條件對所述初始模型進行訓練。

5.根據權利要求4所述的目標事項預測方法，其特征在于，所述根據所述映射關系、目標事項以及預設的訓練截止條件對所述初始模型進行訓練，包括：

根據所述映射關系確定多個自主力層中的鍵矩陣、值矩陣以及查詢矩陣；

根據鍵矩陣、值矩陣、查詢矩陣、所述目標事項以及所述訓練截止條件對所述初始模型進行訓練。

6.根據權利要求5所述的目標事項預測方法，其特征在于，所述根據鍵矩陣、值矩陣、查詢矩陣、所述目標事項以及所述訓練截止條件對所述初始模型進行訓練，包括：

根據所述鍵矩陣、值矩陣以及查詢矩陣確定每個歷史目標事項的權重；

根據所述權重、所述目標事項以及所述訓練截止條件對所述初始模型進行訓練。

7.根據權利要求2所述的目標事項預測方法，其特征在于，還包括：

將預測的目標事項對應的向量進行歸一化，以生成歸一化結果；

將所述歸一化結果輸入至所述前饋網絡層，以生成輸出結果。

8.一種基于多頭自注意力模型的目標事項預測裝置，其特征在于，包括：

數據接收模塊，用于接收用戶行為特征的歷史數據以及用戶的屬性數據；

目標事項預測模塊，用于根據所述歷史數據、所述屬性數據以及預生成的用戶事項預測模型預測用戶的目標事項，其中所述用戶事項預測模型是基于多頭自注意力機制所生成的神經網絡模型。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1至7任一項所述基于多頭自注意力模型的目標事項預測方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至7任一項所述基于多頭自注意力模型的目標事項預測方法的步驟。