[發明專利]一種基于記憶的門控卷積神經網絡語義處理系統及方法

有效

• 申請號: 202011562801.9
• 申請日: 2020-12-25
• 公開（公告）號: CN112598065B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 李曉捷;金日澤;張衛民
• 申請（專利權）人: 天津工業大學
• 主分類號: G06F18/241
• 分類號: G06F18/241;G06N3/0464;G06N3/048;G06N3/063;G06N3/084;G06F40/30
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 李蓓蕾

1.一種基于記憶的門控卷積神經網絡語義處理方法，可應用于一種基于記憶的門控卷積神經網絡語義處理系統，該系統包括輸入單元、與輸入單元連接的分層處理單元以及與分層處理單元連接的記憶單元，所述分層處理單元包括卷積處理層、門控卷積處理層以及殘差網絡處理層，所述卷積處理層與所述門控卷積處理層連接，若干個所述門控卷積處理層之間連接有一所述殘差網絡處理層；上述方法的特征在于，包括如下步驟：

S1：輸入單元采用詞嵌入矩陣將文本數據轉換為特征向量；

S2：卷積處理層依據特征向量提取卷積特征圖；

具體地，卷積處理層對特征向量進行正常的卷積運算，設定x_i∈R^d是一段語句中第i個詞向量表示，其中，向量長度為d，一個長度為n的句子可以表示為一個矩陣：x_1:n∈R^nd，參數大小為w∈R^hd的卷積核一次操作于h個單詞，在時刻t獲取的線性組合特征值c_t可以定義為：

c_t＝x_t:t+h-1·w+b

b∈R為偏置量，t的定義域為t∈[1,n-h+1]，卷積處理層連續作用于所有輸入并合并結果得到一個特征圖，輸出到門控卷積處理層中，進行門控卷積處理；

S3：經過若干門控卷積處理層多次處理得到多層級語義表征數據，并將多層級語義表征數據傳遞到記憶單元進行存儲，并更新記憶單元中的數據；

S4：依據注意力機制從記憶單元更新后的數據中提取語義特征值；

S5：分類層依據語義特征值得到文本的分類結果。

2.根據權利要求1所述的一種基于記憶的門控卷積神經網絡語義處理方法，其特征在于，在步驟S3中，在門控卷積處理層中還包括如下步驟：

S301：對輸入X∈R^Nm使用第二卷積計算模塊進行卷積計算得到矩陣A，其中A＝(X·W+b)；

S302：同時對輸入X∈R^Nm使用門控卷積計算模塊計算得到矩陣B，其中B＝(X·V+c)，再將B通過sigmoid非線性轉換后得到門控參數σ；

S303：將矩陣A和B依據公式計算得到該門控卷積處理層的輸出；

S304：并依據公式更新后向傳播網絡梯度參數。

3.根據權利要求2所述的一種基于記憶的門控卷積神經網絡語義處理方法，其特征在于，在步驟S3中，依據殘差網絡處理層的深度m，在輸入X經過m次門控卷積處理層處理后的輸出Y加殘差數值W_s·X，其中的W_s為轉換參數矩陣。

4.根據權利要求1所述的一種基于記憶的門控卷積神經網絡語義處理方法，其特征在于，在步驟S5中，分類層依據分類預測公式得出分類結果，分類預測公式為：

式中，K是類別數目，X是當前層的輸入，k′是其中一個具體類別數目，w_k是此層的可訓練參數，b_k為偏移量。