[發(fā)明專利]一種語義特征處理方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110458796.5
• 申請日: 2021-04-27
• 公開（公告）號: CN113177414A
• 公開（公告）日: 2021-07-27
• 發(fā)明（設(shè)計(jì)）人: 蔡曉東;鄭淑婷
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/216;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 厲洋洋

1.一種語義特征處理方法，其特征在于，包括如下步驟：

導(dǎo)入待處理語句，所述待處理語句包括多個(gè)單詞，所述單詞為英文單詞；

分別以所述待處理語句中多個(gè)單詞為處理對象，對各個(gè)單詞進(jìn)行詞級向量化表示，得到與各個(gè)單詞對應(yīng)的詞級嵌入向量；

分別以所述待處理語句中多個(gè)單詞為處理對象，提取各個(gè)單詞的子詞級特征，得到與各個(gè)單詞對應(yīng)的子詞級向量；

分別將同一單詞對應(yīng)的所述詞級嵌入向量和所述子詞級向量作為門控動(dòng)態(tài)選擇機(jī)制的輸入，通過所述門控動(dòng)態(tài)選擇機(jī)制得到同一單詞對應(yīng)的單詞語義特征。

2.根據(jù)權(quán)利要求1所述的語義特征處理方法，其特征在于，所述分別以所述待處理語句中多個(gè)單詞為處理對象，對各個(gè)單詞進(jìn)行詞級向量化表示，得到與各個(gè)單詞對應(yīng)的詞級嵌入向量的過程包括：

通過GloVe詞嵌入工具對各個(gè)單詞進(jìn)行詞級向量化表示，得到與所述待處理語句中各個(gè)單詞對應(yīng)的詞級嵌入向量，其中，所述GloVe詞嵌入工具的維度為300維。

3.根據(jù)權(quán)利要求1所述的語義特征處理方法，其特征在于，所述分別以所述待處理語句中多個(gè)單詞為處理對象，提取各個(gè)單詞的子詞級特征，得到與各個(gè)單詞對應(yīng)的子詞級向量的過程包括：

根據(jù)Skin-gram方法分別將各個(gè)單詞劃分為多個(gè)子詞，同一單詞的多個(gè)子詞為一子詞組，所述子詞為n-gram字符的組合形式，其中，n為字符的個(gè)數(shù)；

通過雙向LSTM網(wǎng)絡(luò)將各個(gè)單詞的子詞映射成同一維度的子詞級向量，所述子詞級向量表示為其中，s為子詞，為第j個(gè)子詞組的前向隱藏層向量，為第j個(gè)子詞組的后向隱藏層向量，l為子詞組對應(yīng)的前向隱藏層向量或后向隱藏層向量的個(gè)數(shù)，w^s和b^s均為子詞級參數(shù)矩陣。

4.根據(jù)權(quán)利要求3所述的語義特征處理方法，其特征在于，所述分別將各個(gè)單詞對應(yīng)的所述詞級嵌入向量和所述子詞級向量作為門控動(dòng)態(tài)選擇機(jī)制輸入，通過所述門控動(dòng)態(tài)選擇機(jī)制得到同一單詞對應(yīng)的單詞語義特征的過程包括：

根據(jù)第一式確定門控動(dòng)態(tài)選擇系數(shù)，所述門控動(dòng)態(tài)選擇系數(shù)用于對同一單詞的詞級嵌入向量和子詞級向量進(jìn)行權(quán)重分配，所述第一式為g_j為第j個(gè)門控動(dòng)態(tài)選擇系數(shù)，w為詞級，為詞級嵌入向量，w^T和b均為詞級參數(shù)矩陣，σ為sigmoid激活函數(shù)；

將同一單詞的詞級嵌入向量和子詞級向量作為門控動(dòng)態(tài)選擇機(jī)制的輸入，利用門控動(dòng)態(tài)選擇機(jī)制和所述門控動(dòng)態(tài)選擇系數(shù)g_j得到單詞語義特征，所述單詞語義特征為其中，為子詞級向量，為詞級嵌入向量，⊙為對向量進(jìn)行元素積運(yùn)算。

5.一種語義特征處理系統(tǒng)，其特征在于，包括：

導(dǎo)入模塊，用于導(dǎo)入待處理語句，所述待處理語句包括多個(gè)單詞，所述單詞為英文單詞；

處理模塊，用于分別以所述待處理語句中多個(gè)單詞為處理對象，對各個(gè)單詞進(jìn)行詞級向量化表示，得到與各個(gè)單詞對應(yīng)的詞級嵌入向量；

分別以所述待處理語句中多個(gè)單詞為處理對象，提取各個(gè)單詞的子詞級特征，得到與各個(gè)單詞對應(yīng)的子詞級向量；

輸出模塊，用于分別將同一單詞對應(yīng)的所述詞級嵌入向量和所述子詞級向量作為門控動(dòng)態(tài)選擇機(jī)制的輸入，通過所述門控動(dòng)態(tài)選擇機(jī)制得到同一單詞對應(yīng)的單詞語義特征。

6.根據(jù)權(quán)利要求5所述的語義特征處理系統(tǒng)，其特征在于，所述處理模塊中，所述分別以所述待處理語句中多個(gè)單詞為處理對象，對各個(gè)單詞進(jìn)行詞級向量化表示，得到與各個(gè)單詞對應(yīng)的詞級嵌入向量的過程包括：

通過GloVe詞嵌入工具對各個(gè)單詞進(jìn)行詞級向量化表示，得到與所述待處理語句中各個(gè)單詞對應(yīng)的詞級嵌入向量，其中，所述GloVe詞嵌入工具的維度為300維。