[發(fā)明專(zhuān)利]一種數(shù)據(jù)型問(wèn)答系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911040513.4
• 申請(qǐng)日: 2019-10-29
• 公開(kāi)（公告）號(hào): CN110929006B
• 公開(kāi)（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 莫迪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中科能效（北京）科技有限公司
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332
• 代理公司: 北京鼎云升知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11495
• 代理人: 呂玉健

1.一種數(shù)據(jù)型問(wèn)答系統(tǒng)，問(wèn)答系統(tǒng)技術(shù)理論方法為流水線(xiàn)方法，在流水線(xiàn)QA系統(tǒng)，需要選擇一個(gè)段落并將其傳遞給段落級(jí)問(wèn)答模型，其包含了獲取原始問(wèn)題、得到待選回答組、計(jì)算參考回答與待選回答組中各個(gè)待回答的相似度，輸出最大相似度對(duì)應(yīng)的待選回答，其特征在于：所述數(shù)據(jù)型問(wèn)答系統(tǒng)包含了：

輸出問(wèn)題答案基于多個(gè)支持文檔；

待選回答組對(duì)應(yīng)支持文檔；

對(duì)比輸出問(wèn)題支持文檔和待選回答組對(duì)應(yīng)支撐文檔；

計(jì)算輸出問(wèn)題支持文檔和待選回答組對(duì)應(yīng)支撐文檔的相似度，輸出最大相似度對(duì)應(yīng)的待選回答；

段落級(jí)問(wèn)答模型其核心部分為

A.Embedding：使用預(yù)訓(xùn)練的詞向量嵌入單詞，并通過(guò)使用學(xué)習(xí)的嵌入矩陣嵌入字符，然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)和最大池化，將這些與字符派生的詞嵌入相結(jié)合；

B.Pre-Process：這里使用了共享的雙向GRU(Bi-GRU)來(lái)處理問(wèn)題與文章的嵌入；

C.Attention：通過(guò)使用雙向注意流(Bi-Directional?Attention?Flow，BiDAF)的Attention機(jī)制來(lái)構(gòu)建語(yǔ)言的上下文表示；

a_ij＝w₁·h_i+w₂·q_j+w₃(h_i⊙q_j)

i，j：答案范圍內(nèi)的單詞i和問(wèn)題里的單詞j；

h_i，q_j：段落單詞i的詞向量和問(wèn)題單詞j的詞向量；

n_c：答案范圍的上下文長(zhǎng)度；

w₁、w₂和w₃：學(xué)習(xí)向量，⊙是元素乘法；

q_c：上下文查詢(xún)向量；

每個(gè)標(biāo)簽的最終向量是通過(guò)連接得到的，并通過(guò)一個(gè)帶有ReLU激活的線(xiàn)性層傳遞結(jié)果；

D.Self-Attention：輸入通過(guò)另一個(gè)雙向GRU(Bi-GRU),應(yīng)用相同的Attention機(jī)制，不過(guò)這里沒(méi)有q_c了，而是設(shè)置a_ij＝inf?if?i＝j(luò)；

E.Prediction：在模型的最后一層，應(yīng)用了雙向GRU，然后通過(guò)線(xiàn)性層計(jì)算出每個(gè)開(kāi)始標(biāo)記的答案分?jǐn)?shù)，

將隱藏狀態(tài)與輸入相結(jié)合，再通過(guò)另一個(gè)雙向GRU和線(xiàn)性層計(jì)算出每個(gè)結(jié)束標(biāo)記的答案分?jǐn)?shù)，這里應(yīng)用到了softmax函數(shù)，來(lái)計(jì)算開(kāi)始或結(jié)束的概率；

還包含置信度模型：

模型置信度的基準(zhǔn)度量，是每個(gè)可能的答案區(qū)間的非標(biāo)準(zhǔn)化分?jǐn)?shù)和未被指數(shù)化分?jǐn)?shù)，這里使用的是基于邊界的模型，具有開(kāi)始標(biāo)簽和結(jié)束標(biāo)簽，每個(gè)答案區(qū)間的分?jǐn)?shù)是開(kāi)始分?jǐn)?shù)和結(jié)束分?jǐn)?shù)之和；

為避免模型在啟發(fā)式模式下產(chǎn)生的過(guò)度自信，這里嘗試了4種模型訓(xùn)練方法，并都會(huì)將不包含答案的段落作為額外的訓(xùn)練點(diǎn)進(jìn)行抽樣；

(1)Shared-Normalization

使用了一個(gè)修改的目標(biāo)函數(shù)，其中從相同上下文中采樣的所有段落的起始和結(jié)束分?jǐn)?shù)都被標(biāo)準(zhǔn)化，目的是迫使模型產(chǎn)生段落之間具有可比性的分?jǐn)?shù)；

(2)合并

在訓(xùn)練期間將從同一上下文中采樣的所有段落連接在一起，并在每個(gè)段落之前添加具有學(xué)習(xí)嵌入的段落分隔符標(biāo)記；

(3)No-Answer選項(xiàng)

允許模型為每個(gè)段落選擇一個(gè)特殊的無(wú)應(yīng)答選項(xiàng)；

這里重新改寫(xiě)了目標(biāo)函數(shù)，

s_i，g_j：模型為標(biāo)記i、j生成的起始和結(jié)束邊界的分?jǐn)?shù)

a,b：正確的開(kāi)始和結(jié)束標(biāo)記

最后通過(guò)在模型末尾添加一個(gè)額外的層來(lái)計(jì)算另一個(gè)得分z，首先通過(guò)獲取用于預(yù)測(cè)由開(kāi)始或結(jié)束概率加權(quán)的開(kāi)始或結(jié)束標(biāo)記分?jǐn)?shù)的RNN的總和隱藏狀態(tài)，并在自我關(guān)注層的輸出上使用學(xué)習(xí)的關(guān)注向量來(lái)構(gòu)建輸入向量，最后將這些矢量送到具有80維隱藏層的兩層網(wǎng)絡(luò)和ReLU激活，結(jié)果z就是其唯一輸出；

(4)Sigmoid

考慮具有S形損失目標(biāo)函數(shù)的訓(xùn)練模型，通過(guò)將sigmoid函數(shù)應(yīng)用于每個(gè)標(biāo)記的開(kāi)始或結(jié)束分?jǐn)?shù)來(lái)計(jì)算每個(gè)標(biāo)記的開(kāi)始或結(jié)束概率，交叉熵?fù)p失用于每個(gè)單獨(dú)的概率。