[發明專利]一種用戶意圖預測方法和系統

有效

• 申請號: 202010108943.1
• 申請日: 2020-02-21
• 公開（公告）號: CN111274787B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳曉軍;陳顯玲;楊明暉;崔恒斌
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/279
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 袁春曉

1.一種用戶意圖預測方法，所述方法由至少一個處理器執行，其特征在于，所述方法包括：

獲取與用戶相關的一個或多個因子信息；所述因子信息至少反映用戶在某服務平臺內的操作行為；

基于所述因子信息從意圖文本數據庫中召回多個候選意圖文本；

基于語言模型處理所述多個候選意圖文本以及所述因子信息，得到多個相關度；多個相關度分別反映所述多個候選意圖文本與所述因子信息的相關性；以及，

至少基于所述多個相關度從所述多個候選意圖文本中確定目標意圖文本；

所述語言模型通過以下方法訓練獲得：

獲取訓練樣本；所述訓練樣本包括訓練文本、一個或多個訓練因子及其真實相關度；

基于對訓練文本的分詞處理，得到一個或多個訓練分詞；

對所述訓練分詞中的一個或多個進行遮罩，得到與所述訓練文本對應的遮罩文本；

對所述訓練因子的一個或多個進行遮罩，得到與所述訓練因子對應的遮罩因子；

將所述遮罩文本以及所述遮罩因子作為所述語言模型的輸入數據；

調整所述語言模型的參數，以減小第一差異、第二差異以及第三差異中的一種或多種的組合；其中，

第一差異為所述語言模型針對該訓練樣本輸出的相關度與真實相關度的差異；

第二差異為所述語言模型針對該訓練樣本被遮罩的訓練分詞輸出的預測結果與被遮罩的訓練分詞的差異；

第三差異為所述語言模型針對該訓練樣本被遮罩的訓練因子輸出的預測結果與被遮罩的訓練因子的差異。

2.如權利要求1所述的方法，其中，所述基于所述因子信息從意圖文本數據庫中召回多個候選意圖文本，包括：

利用意圖初篩模型處理所述因子信息，得到一個或多個向量表示；

基于所述一個或多個向量表示從意圖文本數據庫中獲取多個候選意圖文本。

3.如權利要求1所述的方法，其中，所述基于語言模型處理所述多個候選意圖文本以及所述因子信息，得到多個相關度，包括，對于任一候選意圖文本，基于所述語言模型：

獲得該候選意圖文本對應的文本向量；

基于所述文本向量和所述因子信息，得到該候選意圖文本對應的相關度。

4.根據權利要求1所述的方法，所述語言模型包括BERT模型。

5.一種用戶意圖預測系統，包括：

因子獲取模塊，用于獲取與用戶相關的一個或多個因子信息；所述因子信息至少反映用戶在某服務平臺內的操作行為；

候選意圖確定模塊，用于基于所述因子信息從意圖文本數據庫中召回多個候選意圖文本；

相關性確定模塊，用于基于語言模型處理所述多個候選意圖文本以及所述因子信息，得到多個相關度；多個相關度分別反映所述多個候選意圖文本與所述因子信息的相關性；

目標意圖確定模塊，用于至少基于所述多個相關度從所述多個候選意圖文本中確定目標意圖文本；

訓練模塊，用于獲取訓練樣本；所述訓練樣本包括訓練文本、一個或多個訓練因子及其真實相關度；基于對訓練文本的分詞處理，得到一個或多個訓練分詞；對所述訓練分詞中的一個或多個進行遮罩，得到與所述訓練文本對應的遮罩文本；對所述訓練因子的一個或多個進行遮罩，得到與所述訓練因子對應的遮罩因子；將所述遮罩文本以及所述遮罩因子作為所述語言模型的輸入數據；調整所述語言模型的參數，以減小第一差異、第二差異以及第三差異中的一種或多種的組合；其中，第一差異為所述語言模型針對該訓練樣本輸出的相關度與真實相關度的差異；第二差異為所述語言模型針對該訓練樣本被遮罩的訓練分詞輸出的預測結果與被遮罩的訓練分詞的差異；第三差異為所述語言模型針對該訓練樣本被遮罩的訓練因子輸出的預測結果與被遮罩的訓練因子的差異。

6.根據權利要求5所述的系統，其中所述候選意圖確定模塊還用于：

利用意圖初篩模型處理所述因子信息，得到一個或多個向量表示；

基于所述一個或多個向量表示從意圖文本數據庫中獲取多個候選意圖文本。