[發(fā)明專利]基于雙向注意力機(jī)制的答案選擇方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201810619458.3
• 申請(qǐng)日: 2018-06-12
• 公開（公告）號(hào): CN108845990A
• 公開（公告）日: 2018-11-20
• 發(fā)明（設(shè)計(jì)）人: 楊鵬
• 申請(qǐng)（專利權(quán)）人: 北京慧聞科技發(fā)展有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/30;G06N3/04;G06N3/08
• 代理公司: 北京睿邦知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11481
• 代理人: 徐丁峰

本申請(qǐng)涉及基于雙向注意力機(jī)制的用于答案選擇的方法、裝置和電子設(shè)備。該方法包括：對(duì)獲取的問題數(shù)據(jù)和答案數(shù)據(jù)進(jìn)行詞向量轉(zhuǎn)化以分別獲得所述問題數(shù)據(jù)和所述答案數(shù)據(jù)的詞向量表示；處理所述問題數(shù)據(jù)和所述答案數(shù)據(jù)的詞向量表示以分別獲得所述問題數(shù)據(jù)和所述答案數(shù)據(jù)的隱狀態(tài)序列；處理所述問題數(shù)據(jù)和所述答案數(shù)據(jù)的隱狀態(tài)序列以獲得所述問題數(shù)據(jù)和所述答案數(shù)據(jù)之間的關(guān)系矩陣；通過卷積神經(jīng)網(wǎng)絡(luò)模型獲得所述關(guān)系矩陣的特征表示；以及，處理所述特征表示以分別獲得所述答案數(shù)據(jù)為所述問題數(shù)據(jù)的正確答案的第一概率值和所述答案數(shù)據(jù)為所述問題數(shù)據(jù)的錯(cuò)誤答案的第二概率值。這樣，通過特定模型構(gòu)架，提升所述答案選擇系統(tǒng)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明總體地涉及數(shù)據(jù)處理領(lǐng)域，且更為具體地，涉及一種基于雙向注意力機(jī)制的用于答案選擇的方法、裝置和電子設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，越來越多的人選擇在網(wǎng)上搜索問題，并獲取與問題相關(guān)的答案。常見地，網(wǎng)民可以通過社區(qū)問答系統(tǒng)(Community-based Question Answering)，例如百度知道，知乎、Stack Overflow等，檢索自己想了解的問題，并獲取與問題相關(guān)的滿意答案。

答案選擇系統(tǒng)正是基于這樣的背景應(yīng)運(yùn)而生，其目的在于幫助用戶快速且準(zhǔn)確地獲取與問題相關(guān)的正確答案。

在答案選擇系統(tǒng)中應(yīng)用了大量的算法，并發(fā)揮著巨大的作用，其中不少算法的應(yīng)用非常成功，應(yīng)用領(lǐng)域也很廣。但是，這些算法也在不同方面，例如魯棒性、可預(yù)測(cè)性方面存在不足。

因此，需要改進(jìn)的用于答案選擇系統(tǒng)的數(shù)據(jù)處理方案。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種基于雙向注意力機(jī)制的用于答案選擇的方法、裝置和電子設(shè)備，其充分考慮問題和答案之間的聯(lián)系，并通過特定模型架構(gòu)提升答案選擇系統(tǒng)的準(zhǔn)確性。

根據(jù)本申請(qǐng)的一方面，提供了一種基于雙向注意力機(jī)制的用于答案選擇的方法，包括：對(duì)獲取的問題數(shù)據(jù)和答案數(shù)據(jù)分別進(jìn)行詞向量轉(zhuǎn)化，以分別獲得所述問題數(shù)據(jù)的詞向量表示和所述答案數(shù)據(jù)的詞向量表示；通過雙向長(zhǎng)短期記憶層分別處理所述問題數(shù)據(jù)的詞向量表示和所述答案數(shù)據(jù)的詞向量表示，以分別獲得所述問題數(shù)據(jù)的隱狀態(tài)序列和所述答案數(shù)據(jù)的隱狀態(tài)序列；以交互層處理所述問題數(shù)據(jù)的隱狀態(tài)序列和所述答案數(shù)據(jù)的隱狀態(tài)序列，以獲得所述問題數(shù)據(jù)的詞語和所述答案數(shù)據(jù)的詞語之間的關(guān)系矩陣；通過卷積神經(jīng)網(wǎng)絡(luò)模型處理所述關(guān)系矩陣，以獲得所述關(guān)系矩陣的特征表示；以用于二元分類的邏輯回歸模型處理所述特征表示，以分別獲得所述答案數(shù)據(jù)為所述問題數(shù)據(jù)的正確答案的第一概率值和所述答案數(shù)據(jù)為所述問題數(shù)據(jù)的錯(cuò)誤答案的第二概率值。

在上述基于雙向注意力機(jī)制的用于答案選擇的方法中，在獲得所述第一概率值和所述第二概率值之后進(jìn)一步包括：判定所述第一概率值是否大于預(yù)定閾值；以及，響應(yīng)于所述第一概率值大于所述預(yù)定閾值，確定所述答案數(shù)據(jù)為所述問題數(shù)據(jù)的正確答案。

在上述基于雙向注意力機(jī)制的用于答案選擇的方法中，所述卷積神經(jīng)網(wǎng)絡(luò)模型為稠密卷積神經(jīng)網(wǎng)絡(luò)模型。

在上述基于雙向注意力機(jī)制的用于答案選擇的方法中，獲得所述問題數(shù)據(jù)的隱狀態(tài)序列和所述答案數(shù)據(jù)的隱狀態(tài)序列之間的關(guān)系矩陣，包括：

將所述問題數(shù)據(jù)的隱狀態(tài)序列和所述答案數(shù)據(jù)的隱狀態(tài)序列進(jìn)行向量點(diǎn)乘以獲得所述關(guān)系矩陣。

在上述基于雙向注意力機(jī)制的用于答案選擇的方法中，進(jìn)一步地包括：計(jì)算對(duì)應(yīng)的損失函數(shù)以通過反向傳播調(diào)整用于答案選擇的系統(tǒng)的網(wǎng)絡(luò)參數(shù)。

在上述基于雙向注意力機(jī)制的用于答案選擇的方法中，在調(diào)整所述用于答案選擇的系統(tǒng)的網(wǎng)絡(luò)參數(shù)的過程中，針對(duì)所述問題數(shù)據(jù)隨機(jī)采樣的多個(gè)錯(cuò)誤答案樣本數(shù)據(jù)中與所述問題數(shù)據(jù)相似度得分最高的錯(cuò)誤答案被設(shè)置為所述損失函數(shù)的輸入。