[發(fā)明專利]一種適用于數(shù)值推理任務(wù)的膠囊網(wǎng)絡(luò)結(jié)構(gòu)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110926468.3
• 申請(qǐng)日: 2021-08-12
• 公開（公告）號(hào): CN113609272A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 賈維嘉;劉天一;宋羽珩;沈平
• 申請(qǐng)（專利權(quán)）人: 北京師范大學(xué)珠海校區(qū)
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/33;G06F40/30;G06N5/04
• 代理公司: 珠海飛拓知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44650
• 代理人: 陳李青

1.一種適用于數(shù)值推理任務(wù)的膠囊網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于：所述膠囊網(wǎng)絡(luò)結(jié)構(gòu)依次設(shè)有輸入層、Robert編碼層、推理層、膠囊網(wǎng)絡(luò)層和問題預(yù)測(cè)層；

具體實(shí)施步驟如下；

S1、問題預(yù)測(cè)層由描述文本和問題作為整個(gè)模型的輸入S，分為問題序列S^q和文檔序列S^d；

S2、然后利用Roberta編碼器對(duì)輸入層進(jìn)行編碼，得到輸入層的編碼表示H；

S3、推理層和膠囊網(wǎng)絡(luò)層以編碼表示作為輸入進(jìn)行計(jì)算；

S4、推理層和膠囊網(wǎng)絡(luò)層的結(jié)果作為問題預(yù)測(cè)層的輸入，通過問題預(yù)測(cè)層獲得最終的答案P(ans)。

2.根據(jù)權(quán)利要求1所述的一種適用于數(shù)值推理任務(wù)的膠囊網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于：所述輸入層采用S^q代表問題序列，S^d代表文檔序列；

所述文檔序列S^d包含m個(gè)詞；所述問題序列S^q包含n個(gè)詞語；

用S表示S^d和S^q的合并結(jié)果，公式表示如下：

3.根據(jù)權(quán)利要求1所述的一種適用于數(shù)值推理任務(wù)的膠囊網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于：所述Roberta編碼層以Roberta網(wǎng)絡(luò)作為基本的編碼器，將輸入S被編碼為H，即：

H＝RoBerta-Encoder(S) (4)

利用Roberta網(wǎng)絡(luò)結(jié)構(gòu)的后四層輸出作為后續(xù)層的輸入，即：

RoBerta_out＝[H_N-3，H_N-2，H_N-1，H_N] (5)。

4.根據(jù)權(quán)利要求1所述的一種適用于數(shù)值推理任務(wù)的膠囊網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于：所述Roberta編碼層內(nèi)部設(shè)有一個(gè)雙向的注意力網(wǎng)絡(luò)，即：

其中代表問題的隱藏層向量，代表文檔的隱藏層向量；Attention機(jī)制采用表中的attention算法，將隱藏層向量分別乘不同的矩陣W^Q，W^K and W^V分別作為query，key和value向量。

5.根據(jù)權(quán)利要求1所述的一種適用于數(shù)值推理任務(wù)的膠囊網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于：所述膠囊網(wǎng)絡(luò)的膠囊是一組向量，其中膠囊的方向表示一種特定類型的數(shù)字特征，而膠囊的長(zhǎng)度表示這些特征存在的可能性；

來自高層的活動(dòng)膠囊通過矩陣變換進(jìn)行預(yù)測(cè)，而高層膠囊則是由低層膠囊聚類的，而低層膠囊則具有更多的抽象特征，當(dāng)多個(gè)預(yù)測(cè)結(jié)果一致時(shí)，高層膠囊就會(huì)生效；

在數(shù)值推理的任務(wù)中，將所有的通過Roberta編碼層抽取得到的底層語義信息投射到一定數(shù)量的底層膠囊中，每一個(gè)向量表示一個(gè)膠囊，每一個(gè)向量通過非線性函數(shù)Squash函數(shù)進(jìn)行激活，Squash函數(shù)可以縮小向量的長(zhǎng)度至0到1的范圍內(nèi)，表示該膠囊的概率，即：

在底層膠囊捕獲到數(shù)值語義后，高層膠囊通過收集底層膠囊的信息得到，即：

其中，代表參數(shù)，c_uj代表通過動(dòng)態(tài)路由得到的耦合系數(shù)；

然后，利用mean-pooling操作收集來自于不同膠囊層的信息，即：

MP代表mean-pooling操作，為了融合通過Roberta和膠囊網(wǎng)絡(luò)抽取到的信息，首先應(yīng)用了sigmoid來自動(dòng)計(jì)算兩者的權(quán)重，即：