[發明專利]基于Bert模型的意圖識別與槽值填充聯合預測方法

有效

• 申請號: 202011249692.5
• 申請日: 2020-11-11
• 公開（公告）號: CN112800190B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張璞;明歡歡;朱洪倩
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/211;G06F40/279;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明涉及智能問答技術領域，具體涉及一種基于Bert模型的意圖識別與槽值填充聯合預測方法，該方法包括：輸入目標文本，得到目標文本的詞向量、段向量和位置向量，將詞向量、段向量和位置向量拼接作為Bert模型的輸入向量，輸入訓練好的Bert模型中，訓練好的Bert模型輸出意圖表示向量和槽值序列表示向量，將意圖表示向量和槽值序列表示向量在Gate層通過權重計算，計算出聯合作用因子，將聯合作用因子作用于槽值序列表示向量，最終輸出預測的意圖分類和槽值序列。本發明在Bert層上使用Gate機制，充分利用意圖識別和槽值填充的內在聯系，降低任務錯誤預測率。

技術領域

本發明涉及智能問答技術領域，具體涉及一種基于Bert模型的意圖識別與槽值填充聯合預測方法。

背景技術

隨著人工智能技術的飛躍，人與機器的交互越來越頻繁，人向機器傳達指令的方式也從按鍵操作走向語音交互，機器可以通過多種模式的交互過程幫助人們完成特定任務。為了解決人機對話的交流問題，智能對話系統成為人工智能領域的核心技術之一，其中任務型對話系統是為完成特定任務而設計的，例如機票預定、餐廳預訂等多種應用。任務型對話系統的實施過程主要包括五個部分：語音識別、自然語言理解、對話狀態跟蹤、對話策略以及自然語言生成，其中自然語言理解是對話系統的控制核心，自然語言理解包括意圖識別和槽值填充兩個任務，意圖識別即根據文本信息識別出用戶意圖和目的，通常將意圖識別看作是一個分類任務；槽值填充指的是為了讓用戶意圖轉化為用戶明確的指令而補全信息的過程，槽值填充可以看作是序列標注任務，將用戶給出的文本解析為預定義的語義槽，標注時采用Begin/Inside/Outside(BIO)標簽標注分詞結果。

傳統的意圖識別方法主要分為三大類，其一是基于規則模板的意圖識別方法，其二是基于統計特征分類的意圖識別方法，其三是基于深度學習的意圖識別方法。基于規則模板的意圖識別方法一般需要人為構建規則模板以及類別信息對用戶意圖文本進行分類。基于統計特征分類的意圖識別方法需要對文本進行特征提取，然后通過訓練分類器實現意圖分類。經典的統計機器學習模型有支持向量機(Support Vector Machine，SVM)、樸素貝葉斯(Naive Bayes，NB)，K近鄰(K-Nearest Neighbor，KNN)，Adaboost等。隨著深度神經網絡的發展，深度學習逐漸被應用到自然語言處理任務上，并且相比于傳統方法表現出更高的效率和準確率。深度學習方法與傳統方法相比能夠自動提取特征，捕獲句子內部更深層的語義，獲取更好的分類效果。

傳統的解決槽值填充的方法主要有四類，分別是基于字典的，基于規則的，基于統計的和基于深度學習的方法。基于字典的方法主要是通過字符串匹配查找詞庫；基于規則的方法主要是在基于語言學知識的基礎上，由相關領域專家制定相應規則，通過人工構造模板來匹配、抽取槽信息。基于統計的方法則使用人工標注好的語料對模型進行訓練。

上述方法中，意圖識別和槽值填充任務通常是獨立建模的，但由于意圖識別和槽值填充存在內部語義聯系，大量研究者開始對語義識別和槽值填充聯合建模、同時優化。例如，Xu等人提出一種基于CNN-TriCRF的意圖檢測和槽值填充聯合訓練模型，所提出的模型可被看作TRiCRF的神經網絡版本，句子特征通過CNN自動提取，并由意圖模型共享，在槽值填充中使用TriCRF進行全局歸一化，實驗顯示聯合模型在意圖識別和槽值填充的任務上均高于標準TriCRF模型。Li等人提出一種具有門控機制的自注意力模型，為意圖槽值聯合訓練模型提出了更優的語義框架。輸入向量使用CNN自動獲取局部特征，并在CNN隱藏層添加自注意力機制，注意全局信息，使用BLSTM有效利用上下文時序信息，將意圖信息作為門控機制提高槽值填充的性能。但現有基于深度學習的聯合預測方法由于忽略了意圖識別和槽值填充的內在關系或者只是簡單拼接意圖表示向量和槽值序列向量來表達兩者之間的內在關系，導致槽值填充的準確率不高，影響了最終對話系統的質量。

發明內容

為了解決上述問題，本發明提供一種基于Bert模型的意圖識別與槽值填充聯合預測方法。