[發(fā)明專利]一種非事實類問答答案選擇方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810427636.2
• 申請日: 2018-05-07
• 公開（公告）號: CN108829719B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設計）人: 馬榮強;張健;李淼;陳雷;高會議
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06F40/211;G06F40/30
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 奚華保

本發(fā)明公開了一種非事實類問答答案選擇方法，屬于智能檢索技術領域，包括采用基于注意力機制的卷積神經網絡分別對問句、待選擇答案語句進行處理，得到第一語義向量、第二語義向量，其中，第一語義向量表示問句的語義向量，第二語義向量表示待選擇的答案語句的語義向量；將第一語義向量與所述第二語義向量進行匹配，并將匹配度最高的第二語義向量所對應的待選擇答案語句作為正確答案返回。本發(fā)明利用基于注意力機制的卷積神經網絡生成句子的語義向量表示，在語義表示過程中的重要程度對輸入賦予權重，減小與答案主題無關內容的影響，自動生成高質量的語義表示，提高了問句與答案語句的語義匹配度，進而提高了答案選擇的正確率。

技術領域

本發(fā)明涉及智能檢索技術領域，特別涉及一種非事實類問答答案選擇方法及系統(tǒng)。

背景技術

非事實類問答系統(tǒng)回答問題的流程為：問題分析、問句檢索和答案選擇。首先通過問題分析來確定問題類型和預期的答案類型，有時還需要對問題的關鍵詞進行擴展；然后利用問題的類型及關鍵詞信息從知識庫中檢索出與問題相關的候選答案集；最后利用語義特征匹配選擇出正確答案。答案選擇任務的做法就是通過語義分析找到問句與答案之間的語義關聯(lián)性，從而選出正確答案。非事實類領域非事實類問答的特點是答案文本的長度一般比問句要長的多，并且其數據來源主要是網絡社區(qū)問答，答案中會包含一些口語化表達和冗余信息。因此，如何有效建立問題與答案之間的語義關聯(lián)是非事實類領域問答系統(tǒng)中的主要任務之一。

隨著以深度學習為代表的表示學習技術在多個領域的成功應用，許多研究者開始著手研究基于深度學習學習的答案選擇技術。深度學習的優(yōu)點在于通過將語義映射為低維空間向量，自動學習并提取語義特征，增強了語義的可計算性，消除了語義鴻溝。其基本假設是把答案選擇任務看做語義匹配過程，通過表示學習知識，將自然語言問句和答案轉換為低維語義空間中的數值向量，再次基礎上，利用數值計算直接匹配與用戶問句語義最相似的答案。

基于深度學習技術的答案選擇模型可以分為兩種情況，一種是使用通用神經網絡模型，例如卷積神經網絡(Convolutional Neural Network，CNN)和循環(huán)神經網絡(Recurrent Neural Networks，RNN)等，生成文本的語義向量，然后利用語義匹配進行答案選擇。例如利用卷積神經網絡可以捕捉到單詞的位置信息，可以在不用考慮單詞的位置而提取n-gram模型特征，不用使用任何工具可以學習句子的語法結構特征捕捉句子的長距離依賴問題進而將將句子編碼成定長向量。還可以將問題和候選答案看作一個整體，利用循環(huán)神經網絡可以處理序列數據的特性，對每條問題-答案對進行編碼，然后將編碼后的句子向量輸入到長短期記憶模型(long-short term memory，LSTM)中，每個時刻的輸出作為答案最終的類別。這種操作方法可以捕捉到候選答案中的對話信息。

另一種利用深度學習技術來進行答案選擇的情況是分析現(xiàn)有深度學習模型的缺點，結合模型的結構特性，從模型結構或中間的處理過程對模型進行改進。相關工作有：通過分析融合注意力(Attention)機制，利用三種對融合注意力機制的長短期記憶網絡模型進行改進的措施，目的是改于單項LSTM網絡越靠近后期的時間點保存的信息量越多，導致的注意力機制出現(xiàn)權重偏置的問題；為了更好地消除歧義，利用一種潛在的隨機Attention機制，主要是在融合注意力機制的長短期記憶模型的權重相乘階段，用一個潛在的向量表示得到的問題向量，然后利用這個潛在向量對答案文本中長短期記憶網絡的沒事時間點的輸出計算一個權值。

基于深度學習的答案選擇方法也有相應的弊端，比如：基于神經網絡的語義表示模型往往對輸入文本進行統(tǒng)一處理，并不能識別出答案文本中的噪聲信息，并且單一的網絡結構只能挖掘文本相同的語義特征，這都使得最后生成的語義向量不能高效表達語義信息。另外，神經網絡訓練過程計算量大，模型訓練時間較長，最終要的是網絡結構難以解釋，只能通過模型最終的結果來驗證不能網絡結構及其組合形式的性能。

發(fā)明內容

本發(fā)明的目的在于提供一種非事實類問答答案選擇方法及系統(tǒng)，以提高答案選擇的準確率。