[發明專利]一種基于WMD的中文問答匹配方法

在審

• 申請號: 201710539034.1
• 申請日: 2017-07-04
• 公開（公告）號: CN107391614A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 杜云貴;杜若;李智星;侯聰;晏世凱;劉科
• 申請（專利權）人: 重慶智慧思特大數據有限公司;重慶明斯基數據科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 重慶市恒信知識產權代理有限公司50102
• 代理人: 劉小紅

1.一種基于WMD的中文問答匹配方法，其特征在于，包括：

目標領域的知識庫的建立步驟：對知識庫的數據預處理步驟：常用同義詞詞典的建立步驟：詞語距離字典的建立步驟：用戶提問信息的預處理步驟：文檔向量化表示步驟：問句檢索及問句匹配步驟：答案返回。

2.根據權利要求1所述的基于WMD的中文問答匹配方法，其特征在于，

所述目標領域的知識庫的建立步驟包括：收集某一目標領域的知識，并將其整理為問答對的形式。

3.根據權利要求2所述的基于WMD的中文問答匹配方法，其特征在于，所述對知識庫的數據預處理步驟包括：通過無監督算法從知識庫中發現新詞，新詞指詞庫里面沒有出現過的詞，將新詞和目標領域的專業詞匯作為詞庫，使用中文分詞算法將知識庫中的問句和答案進行分詞操作，并過濾分詞結果中出現的標點符號。

4.根據權利要求3所述的基于WMD的中文問答匹配方法，其特征在于，所述常用同義詞詞典的建立步驟包括：將現有同義詞詞林、百科詞條整理轉換得到常用同義詞詞典，再使用爬蟲抓取互聯網上的詞條并整理成中文常用同義詞詞典，并使用正則表達式將知識庫中的英文單詞找出并翻譯，得到中英常用同義詞詞典，將這兩者更新至常用同義詞詞典。

5.根據權利要求4所述的基于WMD的中文問答匹配方法，其特征在于，所述詞語距離字典的建立步驟包括：使用分詞并過濾后的知識庫作為訓練語料，為出現過的每個詞語訓練一個d維的word2vec向量，通過每個詞語的word2vec向量計算出每個詞語的前k個近鄰詞語及對應的距離，得到詞語距離字典，同時，為得到的常用同義詞詞典中的同義詞兩兩之間啟發式的設置一個距離值，使用該距離值更新詞語距離字典。

6.根據權利要求5所述的基于WMD的中文問答匹配方法，其特征在于，所述用戶提問信息的預處理步驟包括：將發現的新詞和目標領域的專業詞匯作為詞庫使用中文分詞算法將用戶提出的問句進行分詞操作，并過濾分詞結果中的標點符號。

7.根據權利要求5所述的基于WMD的中文問答匹配方法，其特征在于，所述文檔向量化表示步驟包括：根據詞頻、文檔頻、詞性、詞語位置將知識庫中的問句和用戶提出的問句向量化表示。

8.根據權利要求7所述的基于WMD的中文問答匹配方法，其特征在于，文檔向量化表示使用的是加權后的TF-IDF值，權值設置的依據為詞語的詞性以及詞語的長度信息。

9.根據權利要求8所述的基于WMD的中文問答匹配方法，其特征在于，所述問句檢索包括：計算用戶提出的問句與知識庫中的每一條問句之間的編輯距離，將編輯距離最近的n條問句取出；問句匹配包括步驟：使用改進的WMD距離算法度量用戶提出的問句與中得到的n條問句之間的相似度；

答案返回：根據問句匹配的結果，將知識庫中與用戶提出問句最相似的問句所對應的答案返回給用戶。

10.根據權利要求9所述的基于WMD的中文問答匹配方法，其特征在于，所述改進的WMD距離算法與原始的WMD距離算法的區別在于：需要用到的文檔特征向量由文檔向量化表示得到；需要用到的詞語距離矩陣通過查詢詞語距離字典得到，如果詞語距離字典中無法查詢到，則為其設置一個默認值p；使用的EMD距離為改進后的EMD距離，其求取僅考慮測試問句中的詞語到待匹配問句中的詞語之間的最短距離。