[發(fā)明專利]問答知識庫的生成方法、神經(jīng)網(wǎng)絡(luò)的訓練方法以及設(shè)備

有效

• 申請?zhí)枺?/td>: 201710295530.7
• 申請日: 2017-04-28
• 公開（公告）號: CN107220296B
• 公開（公告）日: 2020-01-17
• 發(fā)明（設(shè)計）人: 王洪俊;施水才
• 申請（專利權(quán)）人: 北京拓爾思信息技術(shù)股份有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N5/02;G06N3/08
• 代理公司: 11461 北京天健君律專利代理事務(wù)所(普通合伙)
• 代理人: 羅延紅;黃海艷

本發(fā)明實施例提供了一種問答知識庫的生成方法、神經(jīng)網(wǎng)絡(luò)的訓練方法以及設(shè)備。其中，所述問答知識庫的生成方法包括：對文檔數(shù)據(jù)進行拆分處理，得到多個知識片段；通過神經(jīng)網(wǎng)絡(luò)對每個知識片段進行映射處理，得到與所述每個知識片段對應(yīng)的問題，從而生成得到所述問答知識庫。通過本發(fā)明實施例，能夠有效地降低獲取問答知識的難度，大大減少了人工工作量。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體地，涉及一種問答知識庫的生成方法及計算機設(shè)備，以及，一種神經(jīng)網(wǎng)絡(luò)的訓練方法及計算機設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)量日益增大，問答知識系統(tǒng)在人們的生活中發(fā)揮了越來越重要的作用。當前問答知識系統(tǒng)中的問答知識庫主要是人工構(gòu)建為主，耗費大量的人力物力，影響問答知識系統(tǒng)從單一領(lǐng)域擴展到全領(lǐng)域的應(yīng)用。

為了解決阻礙智能問答技術(shù)發(fā)展的這一重大難題，研究者們提出了一些解決方案。一些現(xiàn)有的解決方案試圖使用基于語義模板的匹配方法，先構(gòu)建問題數(shù)據(jù)庫，對問題數(shù)據(jù)庫中的每個問題進行語法和語義分析，形成與每個問題對應(yīng)的語義模板；對文檔數(shù)據(jù)庫中的文檔進行語法和語義分析，將進行語法和語義分析后的文檔與問題數(shù)據(jù)庫中每個問題的語義模板進行匹配，找到最匹配的問題語義模板，基于該語義模板生成問題，從而形成問題答案對，實現(xiàn)自動構(gòu)建問答知識庫。該解決方案的效果取決于預先整理的問題數(shù)據(jù)庫和語義知識的覆蓋能力。

實際上，目前可用的語義知識庫多是通用知識庫，行業(yè)化的領(lǐng)域語義知識庫很少，需要耗費大量人力去構(gòu)建。很顯然，該方案沒有降低問答知識庫構(gòu)建的難度。另外，由于該方案的問題數(shù)據(jù)庫中問題的種類有限，該方案僅具有部分適應(yīng)性，為生成得到其它種類的問題，仍需投入大量人力。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于，提供一種問答知識庫生成的技術(shù)方案和神經(jīng)網(wǎng)絡(luò)訓練的技術(shù)方案，旨在降低獲取問答知識的難度，減少大量的人工工作量。

為達到上述目的，本發(fā)明的實施例提供了一種問答知識庫的生成方法。所述方法包括：對文檔數(shù)據(jù)進行拆分處理，得到多個知識片段；通過神經(jīng)網(wǎng)絡(luò)對每個知識片段進行映射處理，得到與所述每個知識片段對應(yīng)的問題，從而生成得到所述問答知識庫。

可選地，所述通過神經(jīng)網(wǎng)絡(luò)對每個知識片段進行映射處理后，所述方法還包括：對通過所述神經(jīng)網(wǎng)絡(luò)映射處理得到的問題進行過濾。

可選地，所述對通過所述神經(jīng)網(wǎng)絡(luò)映射處理得到的問題進行過濾，包括：基于所述問題的字數(shù)，過濾掉字數(shù)小于或等于第一預設(shè)閾值的問題以及字數(shù)大于第二預設(shè)閾值的問題；對所述問題進行敏感詞檢查，過濾掉包含敏感詞的問題；計算所述問題與所述問題對應(yīng)的知識片段之間的語義相似度，過濾掉所述語義相似度小于第三預設(shè)閾值的問題。

可選地，所述計算所述問題與所述問題對應(yīng)的知識片段之間的語義相似度，包括：對所述問題和所述問題對應(yīng)的知識片段分別進行分詞處理；根據(jù)分詞處理后的問題和知識片段生成得到與所述問題對應(yīng)的第一向量和與所述知識片段對應(yīng)的第二向量；計算所述第一向量和所述第二向量之間的夾角的余弦值，從而得到所述問題與所述問題對應(yīng)的知識片段之間的語義相似度。

可選地，所述計算所述問題與所述問題對應(yīng)的知識片段之間的語義相似度，包括：對所述問題和所述問題對應(yīng)的知識片段分別進行分詞處理；根據(jù)分詞處理后的問題和知識片段生成得到與所述問題對應(yīng)的第一向量和與所述知識片段對應(yīng)的第二向量；使用基于詞嵌入模型的詞語向量對所述第一向量和所述第二向量分別進行擴展，得到與所述第一向量對應(yīng)的第一矩陣向量和與所述第二向量對應(yīng)的第二矩陣向量；計算所述第一矩陣向量和所述第二矩陣向量之間的搬土距離，從而得到所述問題與所述問題對應(yīng)的知識片段之間的語義相似度。

可選地，所述每個知識片段包括以下中的至少一者：文檔、段落以及句子。