[發明專利]基于神經網絡的對話語義意圖預測方法及學習訓練方法

在審

• 申請號: 201810130549.0
• 申請日: 2018-02-08
• 公開（公告）號: CN108363690A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 張宇
• 申請（專利權）人: 北京十三科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30;G06N3/08
• 代理公司: 北京正鼎專利代理事務所(普通合伙) 11495
• 代理人: 岳亞

本發明公開了一種基于神經網絡的聊天機器人對話語義意圖預測方法以及學習訓練方法，用于聊天機器人根據人類對話者的一個序列(已說過的)語句特征向量，預測出對話者可能延續的對話意圖或興趣點(多個之一)，并通過啟發性選擇聊天機器人的輸出對話以及將對話者的回話作為對之前意圖預測結果的驗證反饋，實現算法的在線強化學習和自我更新，利于不斷提高對話意圖預測的正確率，可延長聊天的輪數和增強對話者的興趣。

技術領域

本公開涉及語義分析技術領域，具體涉及一種基于神經網絡的對話語義意圖預測方法及學習訓練方法。

背景技術

通過聊天機器人，人們實現了用自然語言與計算機交流。在和機器人聊天的過程中，產生了大量包含豐富用戶信息的數據，這些數據蘊含了用戶的潛在需求和意圖。意圖識別旨在判斷一個用戶發布的文本或表現的行為是否具有某種指向性意圖(如消費、休閑、求知等)，準確識別出用戶意圖可以使得聊天機器人變得更加智能，增強用戶體驗；同時，也可有針對性地進行消費產品的推薦,更好地服務于用戶。

常規意圖識別采用基于模板匹配的方法和基于有指導的分類方法。前者主要通過挖掘句子中是否出現意圖模板來確定句子最終是否具有消費意圖，后者則將模板等作為特征訓練分類器來完成句子的消費意圖識別。然而,無論是基于模板匹配還是有指導的方法,在應用中都有一定的局限性。基于模板的方法覆蓋率不高,效果不理想；通過構建特征的方式不能很好地學習到文本的深層語義信息,這些都導致了不能準確地理解用戶的消費意圖。

目前，一種基于LSTM神經網絡的用戶意圖識別方法，較好地解決了“聊天機器人的用戶對話文本表達較短,且詞語的先后語序關系對文本的實際含義影響較大”的問題。

現有的基于LSTM神經網絡的用戶意圖識別方法，用于三個領域的出行消費意圖識別任務(訂機票意圖、訂火車票意圖和訂酒店意圖),其基本目標是根據用戶在聊天中表達的語義信息來確定用戶聊天文本的出行消費意愿。 LSTM神經網絡模型不僅對文本的時序關系具有良好的建模能力,而且當用戶輸入的文本較長時,可以有效處理文本的長期依賴問題。

現有技術中基于LSTM神經網絡的出行消費意圖識別方法，其結構如附圖1所示。該模型由輸入層、長短期記憶(LSTM)層和Softmax分類層組成，其中LSTM層由一系列重復的Cell單元組成，得到最后一個Cell的輸出送入Softmax層。

輸入層將一個句子的n個(時間序列)詞向量的作為輸入，按照順序依次送入到LSTM神經網絡模型對應的n個Cell中,以保證聊天文本的時序性。

長短期記憶層由一系列重復的Cell單元組成,每個Cell單元接收上一時刻隱層的輸出以及當前時刻的輸入.每一個Cell單元由輸入門i_t、遺忘門f_t和輸出門o_t組成。

Softmax層輸出維度為4，代表用戶文本是否具有訂機票、火車票、酒店意圖或者是無意圖。Softmax之所以適用于本問題場景,在于它的輸出可以解釋成條件概率,根據條件概率的值來識別聊天文本到底屬于哪一類出行意圖。

現有技術中基于LSTM神經網絡的用戶意圖識別方法，存在的主要缺陷如下：

LSTM神經網絡模型需要依賴原始的詞向量輸入，對于聊天機器人中的語義意圖識別任務，訓練詞向量的大規模語料(尤其是人-機對話)較難獲取，因而，無法得到十分適合本任務的初始化向量表示。

LSTM神經網絡模型僅以一個句子的每個詞向量(而不是連續幾句對話中的每句文本)作為輸入，按時間序列分別輸入到對應Cell單元中，缺乏任務相關的深層次語義信息，因此，該模型對聊天文本的刻畫不充分。

LSTM神經網絡模型采用監督學習訓練算法實現網絡權值的優化調整，因此，需要人工對大量的數據樣本進行識別和標簽，將帶來巨大的時間和人力成本開銷。