[發(fā)明專利]一種基于記憶的門控卷積神經(jīng)網(wǎng)絡(luò)語義處理系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202011562801.9
• 申請日: 2020-12-25
• 公開（公告）號: CN112598065B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 李曉捷;金日澤;張衛(wèi)民
• 申請（專利權(quán)）人: 天津工業(yè)大學(xué)
• 主分類號: G06F18/241
• 分類號: G06F18/241;G06N3/0464;G06N3/048;G06N3/063;G06N3/084;G06F40/30
• 代理公司: 北京沁優(yōu)知識產(chǎn)權(quán)代理有限公司 11684
• 代理人: 李蓓蕾

本發(fā)明涉及深度學(xué)習(xí)及語義處理技術(shù)領(lǐng)域，公開了一種基于記憶的門控卷積神經(jīng)網(wǎng)絡(luò)語義處理系統(tǒng)及方法，包括輸入單元、分層處理單元以及與分層處理單元連接的記憶單元，所述分層處理單元包括卷積處理層、門控卷積處理層以及殘差網(wǎng)絡(luò)處理層；該系統(tǒng)從第三層采用帶門控機制的卷積網(wǎng)絡(luò)，緩解深層網(wǎng)絡(luò)中梯度消失或爆照的問題，并在每5個門控卷積處理層后加入一個殘差網(wǎng)絡(luò)處理層，通過增加門控卷積處理層與殘差網(wǎng)絡(luò)處理層組來獲得深度的網(wǎng)絡(luò)模型以處理長距離文本數(shù)據(jù)，在門控卷積處理層輸出后將處理數(shù)據(jù)更新到記憶單元，并結(jié)合注意力機制以達到長期記憶和邏輯推理效果，整體結(jié)構(gòu)較簡單且訓(xùn)練速度快，在長距離依賴的分類任務(wù)上有較高的準確率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)及語義處理技術(shù)領(lǐng)域，具體涉及一種基于記憶的門控卷積神經(jīng)網(wǎng)絡(luò)語義處理系統(tǒng)及方法。

背景技術(shù)

近年來，在深度學(xué)習(xí)的驅(qū)動下，語音語義識別技術(shù)取得了重大進展，語音云用戶規(guī)模達到了億級規(guī)模，并且語音語義交互技術(shù)由單一平臺向云平臺發(fā)展，其中語義的識別處理極為重要，只有在語義分類處理正確的前提下才能進行后面的信息交互等，目前長距離依賴復(fù)雜文本分類或智能自動問答方法中，傳統(tǒng)的卷積層的模型處理類似N-grAms只能保持或識別較短距離的語義關(guān)系，不能很好地學(xué)習(xí)深層關(guān)聯(lián)，且最大池化處理會使卷積模型訓(xùn)練速度慢且語義的語序信息丟失。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種基于記憶的門控卷積神經(jīng)網(wǎng)絡(luò)語義處理系統(tǒng)及方法。

為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于記憶的門控卷積神經(jīng)網(wǎng)絡(luò)語義處理系統(tǒng)，包括輸入單元、與輸入單元連接的分層處理單元以及與分層處理單元連接的記憶單元，所述分層處理單元包括卷積處理層、門控卷積處理層以及殘差網(wǎng)絡(luò)處理層，所述卷積處理層與所述門控卷積處理層連接，若干個所述門控卷積處理層之間連接有一個所述殘差網(wǎng)絡(luò)處理層。

在本發(fā)明中，優(yōu)選的，所述分層處理單元還包括有分類層，所述分類層與所述門控卷積處理層連接，所述分類層輸出語義分類結(jié)果。

在本發(fā)明中，優(yōu)選的，所述門控卷積處理層包括第二卷積計算模塊和門控卷積計算模塊，所述門控卷積處理層的輸出由所述第二卷積計算模塊和門控卷積計算模塊共同計算得出。

在本發(fā)明中，優(yōu)選的，每兩個所述門控卷積處理層之間還連接有參數(shù)調(diào)整層。

一種基于記憶的門控卷積神經(jīng)網(wǎng)絡(luò)語義處理方法，包括如下步驟：

S1：輸入單元采用詞嵌入矩陣將文本數(shù)據(jù)轉(zhuǎn)換為特征向量；

S2：卷積處理層依據(jù)特征向量提取卷積特征圖；

S3：經(jīng)過若干門控卷積處理層多次處理得到多層級語義表征數(shù)據(jù)，并將多層級語義表征數(shù)據(jù)傳遞到記憶單元進行存儲；

S4：提取語義特征值；

S5：分類層依據(jù)語義特征值得到文本的分類結(jié)果。

在本發(fā)明中，優(yōu)選的，在步驟S1中，輸入單元采用詞嵌入矩陣將文本數(shù)據(jù)轉(zhuǎn)換為特征向量。

在本發(fā)明中，優(yōu)選的，在步驟S3中，在門控卷積處理層中還包括如下步驟：

S301：對輸入X∈R^Nm使用第二卷積計算模塊進行卷積計算得到矩陣A，其中A＝(X·W+b)；

S302：同時對輸入X∈R^Nm使用門控卷積計算模塊計算得到矩陣B，其中B＝(X·V+c)，再將B通過sigmoid非線性轉(zhuǎn)換后得到門控參數(shù)σ；

S303：將矩陣A和B依據(jù)公式計算得到該門控卷積處理層的輸出；

S304：并依據(jù)公式更新后向傳播網(wǎng)絡(luò)梯度參數(shù)。