[發明專利]一種放開域問答系統

有效

• 申請號: 201911040515.3
• 申請日: 2019-10-29
• 公開（公告）號: CN110879838B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 莫迪
• 申請（專利權）人: 中科能效（北京）科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/284;G06N3/044;G06N3/045;G06N3/048;G06N3/082;G06N3/047
• 代理公司: 北京鼎云升知識產權代理事務所(普通合伙) 11495
• 代理人: 呂玉健

本發明公開了一種放開域問答系統，包括一種放開域問答系統，問答系統主要技術理論方法為流水線方法，在流水線QA系統，需要選擇一個段落并將其傳遞給段落級問答模型，其核心部分主要為A.Embedding、B.Pre?Process、C.Attention、D.Self?Attention、E.Prediction。本技術方案采用了流水線方法，并在置信度模型里設置了共享歸一化目標，以實現即使在段落單獨處理的情況下，輸出仍然是全局最優。

技術領域

本發明涉及問答模型技術領域，具體為一種放開域問答系統。

背景技術

在現有的技術中對一個問題檢索出若干文檔之后，會使用閱讀理解模型根據該問題對這些文檔里面的全部句子一一計算，獲取問題可能對應的答案。

閱讀理解模型是對給定問題和文檔預測出答案在文檔中的起始位置和結束位置，起始位置和結束位置之間字符串為答案。將整個文檔放到閱讀理解模型進行計算獲取答案需要的計算量比較大，當文檔比較長的時候，很難實現放回結果；而且，將文檔全部放入到閱讀理解模型會有較大的噪聲，導致預測出來的結構不太正確。

解決方案是將數據庫里面全部文檔中的句子通過預訓練語言模型先編碼成一個向量。當用戶提出一個新的問題，先通過預訓練語言模型編碼為一個向量，然后計算問題的句向量和文檔中各個句子句向量的距離來判斷是否包含答案的一個度量。將得分比較高的句子集中在一起，輸入到閱讀理解模型，最后預測答案的范圍。

可以大幅度減少計算量，并且避免過多的無用句子引入噪聲，導致正確率下降。

發明內容

本發明的目的在于提供一種放開域問答系統，旨在改善現有技術中的問題。

本發明是這樣實現的：

一種放開域問答系統，問答系統主要技術理論方法為流水線方法，在流水線QA系統，需要選擇一個段落并將其傳遞給段落級問答模型，其核心部分主要為

A.?Embedding：使用預訓練的詞向量嵌入單詞，并通過使用學習的嵌入矩陣嵌入字符，然后應用卷積神經網絡和最大池，將這些與字符派生的詞嵌入相結合；

B.?Pre-Process：這里使用了共享的雙向GRU（Bi-GRU）來處理問題與文章的嵌入；

C.?Attention：通過使用雙向注意流（Bi-Directional?Attention?Flow，BiDAF）的Attention機制來構建語言的上下文表示；

i，j?：?答案范圍內的單詞?和?問題里的單詞；

hi，qj：段落單詞i的詞向量?和問題單詞j的詞向量；

nq，nc：問題的長度?和?答案范圍的上下文長度；

w1、w2和w3：?學習向量，是元素乘法；

ci：為每個上下文標簽（開始/結束）計算的參與向量；

qc：上下文查詢向量；

每個標簽的最終向量是通過連接得到的，并通過一個帶有ReLU激活的線性層傳遞結果；

D.?Self-Attention：輸入通過另一個雙向GRU（Bi-GRU）,應用相同的Attention機制，不過這里沒有qc了，而是設置；

E.?Prediction：在模型的最后一層，應用了雙向GRU，然后通過線性層計算出每個開始標記的答案分數。將隱藏狀態與輸入相結合，再通過另一個雙向GRU和線性層計算出每個結束標記的答案分數。這里應用到了softmax函數，來計算開始或結束的概率。

進一步的，還包含置信度模型