[發明專利]一種基于問題答案對的問答系統實現方法

有效

• 申請號: 201811338116.0
• 申請日: 2018-11-12
• 公開（公告）號: CN109271505B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 李舟軍;肖武魁;蘭忻怡
• 申請（專利權）人: 深圳智能思創科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 北京慧泉知識產權代理有限公司 11232
• 代理人: 李娜

本發明一種基于問題答案對的問答系統實現方法包括：問題分析、問題檢索、答案選擇。用戶向問答系統提交自然語言表述的問題之后，問答系統會利用問題向量化、關鍵詞提取、關鍵詞拓展等自然語言處理技術去理解用戶的提問意圖，然后利用檢索引擎的方法在問題答案對數據庫中獲取與問題相關的候選問題答案對集合，并利用匹配算法和排序算法從這些候選集合中準確地挑選出最佳答案。本發明通過綜合不同算法和模型學習得到問題與答案之間的匹配度評分的函數，實現從候選問題答案對中選取出最佳答案的方法，完成了一種基于卷積神經網絡、Xgboost特征融合的答案選擇方法，為問答系統的答案選擇提供了一種更好的方法。

技術領域

本發明涉及一種基于問題答案對的問答系統實現方法，屬于自然語言處理技術領域。

背景技術

搜索引擎技術在信息檢索方面可以滿足用戶的信息需求，但是搜索引擎存在許多不完善的地方，主要體現在兩個方面：一是搜索引擎對于用戶輸入的查詢經過檢索返回一系列相關網頁，網頁包含的內容過多，用戶往往需要閱讀這些網頁才能定位自己的需求；二是搜索引擎采取關鍵詞匹配對進行信息檢索，關鍵詞匹配技術只對句子進行語法解析而沒有語義解析。對于難以用關鍵詞表述的復雜需求，搜索無法給出令人滿意的查詢結果。為了改善信息檢索的用戶體驗，直接以自然語言作為輸入與輸出的問答系統成為了研究熱點。在眾多問答系統中，有一類建立在已配對的問題答案對列表的問答系統，這類問答叫做基于問題答案對的問答系統。

用戶向問答系統提交自然語言表述的問題之后，系統首先會對問題進行分析，利用各種自然語言處理的技術去理解問題的意圖或者主題，例如對問題按意圖或主題進行分類、提取問題中的關鍵詞、根據關鍵詞生成關聯詞，然后將自然語言表述的問題轉換成檢索所需要的查詢語句。接下來，在檢索得到的相關候選問題答案對中，通過復雜匹配度計算，選擇最佳答案。

基于問題答案對的問答系統同時具有搜索引擎和問答系統的優點：

1)通過訓練得到的關聯詞來獲取相似問題集合，增強問題的特征。

2)建立問題與候選問題答案對之間更加復雜語義層面的匹配模型，融合了多個計算問題與候選問題答案對之間的相似度的算法和模型給出置信度更高的相似度評分，其中包括傳統的統計分布、結構和語義相似度特征以及深度神經網絡特征。

3)卷積神經網絡模型允許網絡捕獲更長的距離依賴性，訓練高效，在網絡結構中加入傳統相似度特征能夠提高準確性。4)能夠利用自然語言進行更加人性化的交互。

不足之處：

1)模型對比傳統的檢索模型更加復雜，訓練模型的過程需要花費時間調參。

2)基于卷積神經網絡的模型中兩個句子在建模過程中是完全獨立的，沒有任何參數交互行為，一直到最后生成抽象向量表示后才有交互行為。

3)問題答案對中數據庫更新之后，需要在之前模型的基礎上繼續訓練。

基于上述缺陷，本發明專注于中文基于問題答案對的問答技術。答案選擇模塊是基于問題答案對的問答系統中最重要也最難的部分。本發明分別優化了答案選擇模塊的關鍵技術：基于卷積神經網絡、Xgboost特征融合的候選問題答案對排序方法。

發明內容

本發明技術解決問題：針對用戶可能提交的問題，提出了一種新的基于問題答案對的問答系統實現方法，在答案選擇模塊訓練一個答案句子選擇模型，這個模型能夠學習問題答案對數據集中配對的問題和答案的相關性進行評分的函數，使得相關性強的答案評分排在前面。

本發明技術解決方案：一種基于問題答案對的問答系統實現方法，包括如下步驟：問題分析、問題檢索和答案選擇。具體步驟如下：

S1.問題分析，負責分析用戶提出的問題，從而領會用戶的提問意圖。該步驟在分析用戶的問題時，包括將問題向量化、從問題中提取關鍵詞、關鍵詞拓展等操作。這些分析結果會對后續的步驟S2問題檢索和步驟S3答案選擇產生幫助。