[發明專利]一種客服熱線用戶意圖軌跡識別的方法及系統

在審

• 申請號: 202210199654.6
• 申請日: 2022-03-01
• 公開（公告）號: CN114818738A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 徐雪帆;韓偉;陳志剛;穆玉芝;張健;陳運文;紀達麒
• 申請（專利權）人: 達而觀信息科技（上海）有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F16/35;G06K9/62;G06N3/04
• 代理公司: 上海智力專利商標事務所(普通合伙) 31105
• 代理人: 周濤

1.一種客服熱線用戶意圖軌跡識別的方法，其特征在于，該方法基于用戶行為軌跡和上下文進行客服熱線用戶意圖軌跡識別，具體包括如下操作步驟：

第一步，數據獲得，獲得行為軌跡數據和對話文本；

第二步，數據切片和數據關聯，將對話文本滑動切片，將一通完整的對話文本轉化為N條有先后順序的對話片段，依照對話片段和行為軌跡發生的時間節點將對話文本片段與用戶行為軌跡數據關聯；

第三步，特征處理，對于對話文本內容，使用語料預訓練的模型對對話文本進行特征提取，輸出向量作為文本特征表示；對于用戶行為軌跡數據使用歸一化和one-hot進行處理，連續型的數值特征歸一化處理的特征符合標準正態分布，離散型數值特征先采用one-hot進行編碼，然后再采用歸一化處理，得到用戶行為特征表示，采用one-hot對上文用戶意圖進行特征編碼，然后再采用歸一化處理，得到上文用戶意圖特征表示，再將文本特征表示、用戶行為特征表示和上文用戶意圖特征表示拼接，作為樣本特征表示輸出；

第四步，意圖分類，使用多層感知神經網絡作為意圖分類算法模型，以樣本特征表示作為輸入，目標是獲得用戶意圖的one-hot向量，在訓練時使用交叉熵損失函數與反向傳播機制網絡參數進行更新，訓練后將模型參數保存，在預測階段，搭建相同結構的MLP模型并加載訓練好的模型參數，將特征處理模塊輸出的樣本特征表示輸入模型，取最后一層的向量作為輸出結果；

第五步，生成最優的用戶意圖軌跡，使用Beam Search策略在預測階段生成最優的用戶意圖軌跡。

2.根據權利要求1所述的一種客服熱線用戶意圖軌跡識別的方法，其特征在于，在所述第二步中，數據切片時以一個大小為4，步長為2的窗口將對話文本滑動切片，把原文本切成N個4句話組成的片段，每個片段都是客服句-用戶句-客服句-用戶句的順序，到最后一個片段如果以客服句結尾則用空白的用戶句填補在最后。

3.根據權利要求1所述的一種客服熱線用戶意圖軌跡識別的方法，其特征在于，在所述第二步，在訓練語料中，人工給每個片段標注正確的用戶意圖類別。

4.根據權利要求1所述的一種客服熱線用戶意圖軌跡識別的方法，其特征在于，在所述第三步，使用包含大量先驗知識的語料預訓練的含有12層Transformer的BERT模型對對話文本進行特征提取，在訓練階段，先搭建一個基礎版的12層的BERT模型連接一個全連接層的分類模型，這個模型的輸入是token化的對話文本數據，目標是用戶意圖的one-hot向量，此模型先訓練少量輪次，訓練時凍結前8層Transformer，使其參數不會被更新，使用交叉熵損失函數與反向傳播機制對后4層Transformer和全連接層的參數進行更新，訓練后將BERT模型參數保存；在預測階段，搭建相同結構的BERT模型并加載訓練好的模型參數，將token化的對話文本數據輸入模型，取最后一層的[CLS]符號對應的向量作為輸出，此向量即為文本特征表示。

5.根據權利要求1或4所述的一種客服熱線用戶意圖軌跡識別的方法，其特征在于，在所述的第三步，使用歸一化和one-hot對用戶行為軌跡數據進行處理，針對連續型的數值特征，采用Z-score歸一化，經過處理的特征符合標準正態分布，即均值為0，標準差為1，轉化函數為：

其中μ為所有樣本數據的均值，σ為所有樣本數據的標準差；

針對離散的類型特征，先采用one-hot進行編碼，并在one-hot編碼后采用Z-score歸一化處理。