[發明專利]一種基于命名實體識別的問答系統構建方法

在審

• 申請號: 202111276164.3
• 申請日: 2021-10-29
• 公開（公告）號: CN113901824A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 周潔琴
• 申請（專利權）人: 南京視察者智能科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/284;G06F16/33;G06F40/35;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于命名實體識別的問答系統構建方法，該方法包括步驟1，構建問答數據庫：步驟2，將問答數據庫中的問題進行命名實體識別和非命名實體識別，步驟3，將步驟2的識別結果存儲到問答數據庫中對應字段，步驟4，計算相似度，將用戶輸入問題進行實體識別后和中文分詞后，得到命名類實體和非命名類實體，從問答數據庫中找到對應的實體問題作為候選問題，返回相似度最高的候選問題的答案；通過對問答數據庫中的問題進行命名實體識別和中文分詞，獲得命名實體和非命名實體的詞向量，進而獲得相應的候選問題，根據改進的相似度計算方法，得到用戶輸入和候選問題的相似度，精準匹配出用戶輸入問題，提高了問答系統中答案的準確性。

技術領域

本發明涉及自然語言處理研究領域，具體涉及一種基于命名實體識別的問答系統構建方法。

背景技術

移動互聯網的高速發展，給互聯網用戶帶來了豐富多樣的信息。面對互聯網上的海量信息，人們越來越依靠通過搜索引擎查詢信息。但是，傳統的搜索引擎返回大量的相關網頁，用戶很難從大量網頁中快速準確地定位到與問題相匹配的正確答案。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：與傳統搜索引擎不同，問答系統作為一種新型信息檢索技術，能夠直接返回給用戶精確的答案，從而省去了用戶從大量相關網頁中尋找所需信息的時間。其中，短文本相似度計算在問答系統中具有重要作用，因為問題和答案都是短文本的形式，尤其是問題的長度一般不超過100字，包含的信息量較少；并且用戶表達習慣不同，短文本問題中存在錯別字、簡稱、口語化等不規范的表達，導致給出的答案質量有所下降。短文本與長文本不同，具有內容較短和特征稀疏等特點，導致短文本相似度計算度量效果較差。目前的短文本相似度方法無法有效解決短文本噪聲詞語的干擾問題，提高短文本相似度計算的準確性。因此需要提出新的語義相似度方法，提高自動返回用戶答案的匹配精度。如何從短文本信息中挖掘出有價值的信息，準確定位到最相似的問句，返回用戶最準確的答案，是一個亟待解決的問題。

發明內容

為了克服現有技術的不足，本發明提供了一種基于命名實體識別的問答系統構建方法，通過命名實體識別和非命名實體識別，去除了冗余信息，得到用戶輸入和候選問題的相似度，精準匹配出用戶輸入問題，提高了問答系統中答案的準確性。技術方案如下：

一種基于命名實體識別的問答系統構建方法，該方法包括如下步驟：

步驟1，構建問答數據庫：

獲取問答數據源，利用網絡爬蟲抓取問答類平臺作為問答數據庫的數據源，

抓取網頁后需要進行數據清洗操作，清除無用數據，得到問題要素：問題、答案、答案時間、點贊數、評論數字段；根據問題要素計算每條答案記錄的有效分數記S；根據有效分數S，針對每個問題，只保留一條有效分數最高的答案記錄，存入問答數據庫中。

步驟2，將問答數據庫中的問題進行命名實體識別，所稱命名實體識別是指識別出文本中具有特定意義的實體，包括人名、地名、組織機構名；使用BERT-BiLSTM-CRF模型對問答數據庫中的問題進行命名實體識別，利用BERT生成輸入內容的詞向量語義表示，再連接BiLSTM-CRF模型。

使用BERT-BiLSTM-CRF模型進行實體識別的方法如下：

(1)在BERT預訓練語言模型內部使用雙向的Transformer編碼器對問題進行處理，構建Embedding層，獲得每個詞的向量表示，作為下游任務BiLSTM-CRF的輸入。

(2)通過BERT處理得到的詞向量作為BiLSTM模型的輸入，同時按正向和反向來處理序列輸入，然后將同一時刻正向信息向量輸出與反向信息向量的輸出進行拼接，得到時刻t的句子表示通過正向和反向兩個方向學習文本上下文之間的聯系。