[發(fā)明專利]基于縮放點積注意力的行為預測方法、裝置、設備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011613113.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112651782B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設計）人: 蕭梓健;杜宇衡
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06Q30/0202
• 分類號: G06Q30/0202;G06Q30/0201;G06N20/00
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權代理有限公司 44334
• 代理人: 孫芬;劉麗華

本發(fā)明涉及人工智能領域，提供一種基于縮放點積注意力的行為預測方法、裝置、設備及介質(zhì)，首先基于時間區(qū)間對長時間序列進行了拆分，用戶層和行為序列層之間用時間區(qū)間層間隔，不直接相連，區(qū)間內(nèi)序列長度大大縮小，便于并行計算，且減少了交叉計算量，提高了運算效率，再基于縮放點積注意力機制進行編碼，優(yōu)化了數(shù)據(jù)特征，對待預測數(shù)據(jù)進行標準化處理，以符合模型的輸入數(shù)據(jù)格式，便于利用模型進行預測，進而基于人工智能手段實現(xiàn)對購買等行為的自動預測，且準確率及預測效率都更高。本發(fā)明還涉及區(qū)塊鏈技術，行為預測模型可存儲于區(qū)塊鏈。

技術領域

本發(fā)明涉及人工智能技術領域，尤其涉及一種基于縮放點積注意力的行為預測方法、裝置、設備及介質(zhì)。

背景技術

為了預測用戶的購買等行為力，通常需要獲取用戶行為，并基于用戶行為進行分析預測。

但是，目前采用的行為序列模型主要是attention(基于注意力機制)、RNN(Recurrent?Neural?Network，循環(huán)神經(jīng)網(wǎng)絡)等模型，這些模型原生于自然語言處理領域，用在行為序列建模場景中不能完全契合，主要存在以下問題：

(1)行為序列長，導致模型的訓練和工程計算都較為困難。RNN類模型處理長序列能力不足，會損失大量信息；attention類模型處理長序列時會交叉計算序列的注意力權重，交叉計算的時間復雜度和空間復雜度是O(n²)，復雜度太高，導致難以支撐生產(chǎn)應用。

(2)時間跨度大，相鄰行為可能相隔很長時間，業(yè)務上不連續(xù)的行為耦合嚴重。如用戶在19年1月活躍，然后隔一年到20年3月才繼續(xù)活躍，用戶在19年和20年的行為在業(yè)務意義上并非是連續(xù)行為，但在行為序列上卻是連續(xù)的。這種業(yè)務不連續(xù)行為耦合在一起的情況，會使模型無法有效學習重要信息。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，有必要提供一種基于縮放點積注意力的行為預測方法、裝置、設備及介質(zhì)，能夠基于人工智能手段實現(xiàn)對購買等行為的自動預測，且準確率及預測效率都更高。

一種基于縮放點積注意力的行為預測方法，所述基于縮放點積注意力的行為預測方法包括：

當接收到行為預測指令時，根據(jù)所述行為預測指令獲取待處理數(shù)據(jù)；

從所述待處理數(shù)據(jù)中提取行為數(shù)據(jù)，并將所述行為數(shù)據(jù)初始化為第一初始行為embedding及第二初始行為embedding；

從所述待處理數(shù)據(jù)中提取時間數(shù)據(jù)，并對所述時間數(shù)據(jù)進行周期性編碼，得到時間區(qū)間embedding；

從所述待處理數(shù)據(jù)中提取用戶數(shù)據(jù)，并將所述用戶數(shù)據(jù)初始化為用戶初始embedding；

根據(jù)所述第一初始行為embedding、所述第二初始行為embedding及所述時間區(qū)間embedding進行attention編碼，得到第一初始attention矩陣；

根據(jù)所述第一初始attention矩陣、所述用戶初始embedding進行attention編碼，得到第二初始attention矩陣；

將所述第二初始attention矩陣作為樣本訓練行為預測模型；

當所述行為預測模型訓練完成時，根據(jù)所述行為預測模型的參數(shù)更新所述第二初始attention矩陣，得到行為序列；

當接收到待預測數(shù)據(jù)時，根據(jù)所述行為序列對所述待預測數(shù)據(jù)進行轉(zhuǎn)換，得到目標序列；

將所述目標序列輸入至所述行為預測模型，并獲取所述行為預測模型的輸出作為行為發(fā)生概率。

根據(jù)本發(fā)明優(yōu)選實施例，所述根據(jù)所述行為預測指令獲取待處理數(shù)據(jù)包括：

解析所述行為預測指令的方法體，得到所述行為預測指令的攜帶信息；