[發(fā)明專利]一種適用于數(shù)值推理任務的膠囊網(wǎng)絡結構

在審

• 申請?zhí)枺?/td>: 202110926468.3
• 申請日: 2021-08-12
• 公開（公告）號: CN113609272A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設計）人: 賈維嘉;劉天一;宋羽珩;沈平
• 申請（專利權）人: 北京師范大學珠海校區(qū)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06N5/04
• 代理公司: 珠海飛拓知識產(chǎn)權代理事務所(普通合伙) 44650
• 代理人: 陳李青

本發(fā)明公開了一種適用于數(shù)值推理任務的膠囊網(wǎng)絡結構，所述膠囊網(wǎng)絡結構依次設有輸入層、Robert編碼層、推理層、膠囊網(wǎng)絡層和問題預測層，引入了RoBerta神經(jīng)網(wǎng)絡他能夠識別出合法的數(shù)字和重要的詞語，除此以外，還引入了一個雙向的注意力機制用于精細地捕捉問題和相關文檔之間的關系；同時利用膠囊網(wǎng)絡將底層的特征語義特征聚合到高層的特征中，不同于max?pooling，self?attention等方法，有效的抽取出重疊的數(shù)值語義信息；此外，引入了一個門控機制控制膠囊網(wǎng)絡和RoBerta網(wǎng)絡的信息流，從而參與結果的預測，提高效率。

【技術領域】

本發(fā)明涉及計算機科學中的自然語言處理方向領域，具體涉及一種適用于數(shù)值推理任務的膠囊網(wǎng)絡結構。

【背景技術】

現(xiàn)有的提升機器閱讀理解模型數(shù)值推理能力的方法并不多見。其主要方法是通過對文本和問題中的數(shù)字進行提取，然后利用數(shù)字的類型和數(shù)字的數(shù)值關系，構建有向圖，然后再利用圖神經(jīng)網(wǎng)絡(圖注意力網(wǎng)絡)對有向圖進行運算、推理，最終利用運算的結果輔助答案的預測。

盡管現(xiàn)有的方法可以在一定程度上，提升機器閱讀理解的準確性。但仍然有兩個難點沒有解決:1)如何識別分布在多個句子中的合法數(shù)值。2)對于每個問題，如何區(qū)分出重疊的數(shù)值語義。

【發(fā)明內(nèi)容】

為解決上述問題，提出了一種適用于數(shù)值推理任務的膠囊網(wǎng)絡結構；

一種適用于數(shù)值推理任務的膠囊網(wǎng)絡結構，其特征在于：所述膠囊網(wǎng)絡結構依次設有輸入層、Robert編碼層、推理層、膠囊網(wǎng)絡層和問題預測層；

具體實施步驟如下；

S1、問題預測層由描述文本和問題作為整個模型的輸入S,分為問題序列S^q和文檔序列S^d；

S2、然后利用Roberta編碼器對輸入層進行編碼，得到輸入層的編碼表示H；

S3、推理層和膠囊網(wǎng)絡層以編碼表示作為輸入進行計算；

S4、推理層和膠囊網(wǎng)絡層的結果作為問題預測層的輸入，通過問題預測層獲得最終的答案P(ans)。

進一步地、所述輸入層采用S^q代表問題序列，S^d代表文檔序列；

所述文檔序列S^d包含m個詞；所述問題序列S^q包含n個詞語；

用S表示S^d和S^q的合并結果，公式表示如下：

進一步地、所述Roberta編碼層以Roberta網(wǎng)絡作為基本的編碼器，將輸入S被編碼為H，即：

H＝RoBerta-Encoder(S) (4)

利用Roberta網(wǎng)絡結構的后四層輸出作為后續(xù)層的輸入，即：

RoBerta_out＝[H_N-3，H_N-2，H_N-1，H_N] (5)。

進一步地、所述Roberta編碼層內(nèi)部設有一個雙向的注意力網(wǎng)絡，即：

其中代表問題的隱藏層向量，代表文檔的隱藏層向量；Attention機制采用表中的attention算法，將隱藏層向量分別乘不同的矩陣W^Q，W^K and W^V分別作為query,key和value向量。