[發(fā)明專利]一種序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811220596.0
• 申請(qǐng)日: 2018-10-19
• 公開（公告）號(hào): CN109325103B
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 李戈;金芝
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

1.一種序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示方法，其特征在于，包括：

將語境向量和標(biāo)識(shí)符向量作為輸入，輸入相關(guān)性子模塊中，采用相關(guān)性函數(shù)做相關(guān)性運(yùn)算，得到相關(guān)性向量；

將所述相關(guān)性向量輸入Softmax子模塊中，做歸一化運(yùn)算，得到組合向量；所述組合向量是基于組合權(quán)重的概率分布函數(shù)；

將所述組合向量輸入記憶槽，使得所述記憶槽中的槽之間根據(jù)所述組合向量做線性運(yùn)算，得到所述動(dòng)態(tài)標(biāo)識(shí)符表示；所述記憶槽是一個(gè)二維矩陣，以存儲(chǔ)多義詞向量，其中，每個(gè)槽內(nèi)存儲(chǔ)一個(gè)多義詞向量。

2.根據(jù)權(quán)利要求1所述的序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示方法，其特征在于：

所述相關(guān)性函數(shù)是拼接函數(shù)。

3.根據(jù)權(quán)利要求1所述的序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示方法，其特征在于：

所述記憶槽的數(shù)量是有限個(gè)而且每個(gè)槽之間互不相同。

4.根據(jù)權(quán)利要求1所述的序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示方法，其特征在于：

所述Softmax子模塊使用L1-正則化算法。

5.根據(jù)權(quán)利要求1所述的序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示方法，其特征在于：

所述線性運(yùn)算的組合權(quán)重根據(jù)所述相關(guān)性向量而產(chǎn)生。

6.一種序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示模塊，其特征在于，包括如下順序相連的如下結(jié)構(gòu)：

相關(guān)性子模塊，將語境向量和標(biāo)識(shí)符向量作為所述相關(guān)性子模塊的輸入，采用相關(guān)性函數(shù)做相關(guān)性運(yùn)算，得到相關(guān)性向量；

Softmax子模塊，將所述相關(guān)性向量輸入Softmax子模塊中，做歸一化運(yùn)算，得到組合向量；所述組合向量是基于組合權(quán)重的概率分布函數(shù)；

記憶槽，將所述組合向量輸入記憶槽，使得所述記憶槽中的槽之間根據(jù)所述組合向量做線性運(yùn)算，得到所述動(dòng)態(tài)標(biāo)識(shí)符表示；所述記憶槽是一個(gè)二維矩陣，以存儲(chǔ)多義詞向量，其中，每個(gè)槽內(nèi)存儲(chǔ)一個(gè)多義詞向量。

7.一種序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示裝置，其特征在于，包括：

一個(gè)如權(quán)利要求6所述的動(dòng)態(tài)標(biāo)識(shí)符表示模塊，以及與所述動(dòng)態(tài)標(biāo)識(shí)符表示模塊相串連的循環(huán)神經(jīng)網(wǎng)絡(luò)單元(RNN)或長短期記憶網(wǎng)絡(luò)(LSTM)。

8.一種序列學(xué)習(xí)的動(dòng)態(tài)標(biāo)識(shí)符表示系統(tǒng)，其特征在于，包括：

一個(gè)或多個(gè)串聯(lián)的如權(quán)利要求7所述的動(dòng)態(tài)標(biāo)識(shí)符表示裝置。