[發明專利]基于神經網絡的對話語義意圖預測方法及學習訓練方法

在審

• 申請號: 201810130549.0
• 申請日: 2018-02-08
• 公開（公告）號: CN108363690A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 張宇
• 申請（專利權）人: 北京十三科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30;G06N3/08
• 代理公司: 北京正鼎專利代理事務所(普通合伙) 11495
• 代理人: 岳亞

1.一種基于神經網絡的對話語義意圖預測方法，其特征在于，包括：

輸入向量生成模塊設計：將人類對話者某個時間片段中一定長度的語句文本，根據詞表進行向量空間表示，形成句子矩陣并作為Q-LSTM神經網絡模型的某一組輸入；將某一個連續時間序列中的全部句子矩陣，按照順序依次對應輸入Q-LSTM神經網絡模型的Cell單元構成輸入層；

Q-LSTM神經網絡模塊設計：基于長短期記憶LSTM神經網絡實現Q學習算法模型，神經網絡的輸入為代表當前狀態的一個人類對話者序列語句特征向量組，神經網絡的輸出為代表根據當前狀態預測的一個人類對話者語義意圖集合的概率分布向量；

隨機意圖選擇模塊設計：根據所述Q-LSTM神經網絡算法模塊，計算獲得的當前時刻語義意圖集合的概率分布向量；所述意圖是對人類對話者后續話題的預測，將作為引導聊天機器人后續對話輸出的依據；

試探對話生成模塊設計：根據隨機選擇判斷的當前時刻意圖，從預先設置的對話庫中檢索出對應該意圖的試探性對話(實際行動)，并通過聊天機器人系統將該對話傳遞給人類對話者；

人類對話采集模塊設計：利用文本或語音識別方法，將人類對話者回復聊天機器人試探性對話的信息傳遞回聊天機器人系統，并通過語義預處理轉換為語句詞特征向量；

意圖匹配檢驗模塊設計：利用模板匹配特征分類方法，對人類對話者回復聊天機器人試探性對話的信息語句詞特征向量進行計算，分辨出人類對聊天機器人輸出試探性對話的回應結果；

輸入狀態更新模塊設計：當聊天機器人給出人類對話者意圖預測，并輸出試探性對話，進而對話者人類對話者回復聊天機器人試探性對話的信息語句詞特征向量產生后，從Q學習模型角度，狀態空間轉移到了下一時刻，將當前時刻狀態向量的每個句子矩陣由其依次由其后面的句子矩陣替代，并且其最后一個句子矩陣由對話者人類對話者回復聊天機器人試探性對話的信息語句詞特征向量替代。

2.如權利要求1所述的方法，其特征在于，所述方法還包括：

所述輸入層取某一個連續時間序列語句特征的作為當前時刻的輸入，按照順序依次送入到LSTM神經網絡模型對應的Cell中,以保證聊天文本的時序性。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

由一系列重復的Cell單元組成長短期記憶層,每個Cell單元接收上一時刻隱層的輸出以及當前時刻的輸入；每一個Cell單元由輸入門、遺忘門和輸出門組成,長短期記憶層神經網絡，采用反向傳播算法實現學習訓練。

4.如權利要求1所述的方法，其特征在于，所述方法還包括：

分類輸出層為多個人類對話者語義意圖的概率分布向量,所述向量由Q-LSTM神經網絡模型輸出經Softmax函數計算獲得。

5.如權利要求1所述的方法，其特征在于，所述方法還包括：

將每個語義意圖當作一個虛擬行動，所述語義意圖的概率轉意為對應當前狀態的動作值；采用瞬時差分算法實現Q-LSTM神經網絡的強化學習。