[發(fā)明專利]一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)與潛變量結(jié)構(gòu)的詞語(yǔ)定義生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910365929.7
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN110083710B
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 杜永萍;張海同;王辰成
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06K9/62;G06N3/04
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 吳蔭芳

1.一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)與潛變量結(jié)構(gòu)的詞語(yǔ)定義生成方法，其特征在于包括以下步驟：

(1)建立并整理基礎(chǔ)語(yǔ)料庫(kù)；

所述的基礎(chǔ)語(yǔ)料庫(kù)的內(nèi)容包括被定義詞、詞性、領(lǐng)域、釋義、上下文信息；

所述的基礎(chǔ)語(yǔ)料庫(kù)采用詞典的詞語(yǔ)釋義語(yǔ)料集合的形式呈現(xiàn)；

所述的整理包括兩部分，即對(duì)收集到的基礎(chǔ)語(yǔ)料進(jìn)行清洗，去除停用詞和功能詞，并按照一定的比例劃分訓(xùn)練集、驗(yàn)證集，以及整理基礎(chǔ)語(yǔ)料中被定義詞、釋義和上下文信息中出現(xiàn)的所有詞作為基礎(chǔ)語(yǔ)料庫(kù)詞表；

(2)選取被定義詞語(yǔ)的近義詞集合，擴(kuò)展基礎(chǔ)語(yǔ)料庫(kù)，形成最終語(yǔ)料庫(kù)；

計(jì)算被定義詞語(yǔ)與基礎(chǔ)語(yǔ)料庫(kù)詞表中每一個(gè)詞的相似度得分，選擇分?jǐn)?shù)最高的前n個(gè)詞作為被定義詞語(yǔ)的近義詞集合；基礎(chǔ)語(yǔ)料庫(kù)+被定義詞近義詞集合構(gòu)成最終語(yǔ)料庫(kù)；

(3)對(duì)被定義詞語(yǔ)的詞向量進(jìn)行展重構(gòu)，具體包括：

對(duì)被定義詞詞向量V^*和最終語(yǔ)料庫(kù)詞表中出現(xiàn)詞語(yǔ)的詞向量進(jìn)行初始化；

在被定義詞的字符序列的開始和結(jié)束位置添加標(biāo)識(shí)符,輸入到雙向LSTM中，分別從正向和反向?qū)Ρ欢x詞進(jìn)行建模，將雙向LSTM最后一個(gè)時(shí)刻正向和反向的隱藏狀態(tài)進(jìn)行拼接，得到被定義詞的字符級(jí)信息V_CH；

對(duì)所述被定義詞近義詞集合的詞向量進(jìn)行初始化，將n個(gè)近義詞的詞向量進(jìn)行拼接，得到被定義詞的近義詞信息V_SY；

將初始化的被定義詞詞向量V^*與所述字符級(jí)信息V_CH和所述近義詞信息V_SY進(jìn)行拼接，得到被定義詞擴(kuò)展重構(gòu)后的詞向量，如公式1所示:

V^*＝[V^*,V_CH,V_SY] (1)

(4)構(gòu)建基于循環(huán)神經(jīng)網(wǎng)絡(luò)與潛變量結(jié)構(gòu)模型

模型包括上下文語(yǔ)義提取器模塊、釋義變分自編碼器模塊、釋義生成解碼器模塊三部分，

所述上下文語(yǔ)義提取器模塊用于根據(jù)被定義詞的上下文信息來(lái)提取被定義詞詞向量在相關(guān)語(yǔ)境中的含義，具體為：

將被定義詞的上下文信息輸入到雙向GRU中，將雙向GRU最后一個(gè)時(shí)刻正向和反向的隱藏狀態(tài)進(jìn)行拼接，得到上下文的嵌入表示V_s；

對(duì)上下文嵌入表示V_s進(jìn)行線性變換操作來(lái)對(duì)齊空間，得到對(duì)齊后上下文表示TV_s；按照公式2計(jì)算對(duì)齊后的上下文表示TV_s與重構(gòu)的被定義詞詞向量V^*之間的內(nèi)積d，具體計(jì)算公式如下：

d＝TV_s⊙V^* (2)

其中T表示線性變換矩陣，⊙表示計(jì)算內(nèi)積操作；

利用Softmax進(jìn)行歸一化，按照公式3計(jì)算得到被定義詞詞向量基于上下文信息的二進(jìn)制掩碼mask，具體計(jì)算公式如下：

mask＝Softmax(d) (3)

將被定義詞詞向量基于上下文信息的二進(jìn)制掩碼mask與重構(gòu)的被定義詞詞向量V^*進(jìn)行拼接，進(jìn)行線性變換映射到相同的向量空間中，并使用Tanh進(jìn)行激活，得到語(yǔ)義向量m，具體計(jì)算公式如下：

m＝tanh(W_c[mask:V^*]+b) (4)

其中W_c表示線性變換矩陣，b為偏置項(xiàng)，tanh為非線性激活函數(shù)；

本模塊的輸出包括：被定義詞和上下文在向量空間中對(duì)齊后的上下文表示TV_s和語(yǔ)義向量m；

所述釋義變分自編碼器模塊對(duì)釋義進(jìn)行建模，提取釋義的潛變量特征，彌補(bǔ)定義生成時(shí)信息不足的問(wèn)題，同時(shí)在生成定義時(shí)提供釋義的結(jié)構(gòu)信息，具體如下：

將被定義詞的釋義輸入到GRU中，取GRU最后一個(gè)時(shí)刻的隱藏狀態(tài)作為釋義的編碼特征，對(duì)編碼特征分別進(jìn)行兩個(gè)線性變換，映射到一個(gè)均值為0，標(biāo)準(zhǔn)差為1的潛變量空間Z中，通過(guò)Z重構(gòu)被定義詞的釋義，使得Z擬合被定義詞釋義的特征分布；

隨機(jī)生成兩個(gè)向量，一個(gè)表示均值，一個(gè)表示標(biāo)準(zhǔn)差，用標(biāo)準(zhǔn)正態(tài)分布乘上標(biāo)準(zhǔn)差再加上均值得到被定義詞釋義的潛變量特征z；

本模塊的輸出為被定義詞釋義的潛變量特征z；

所述的釋義生成解碼器模塊，基于GRU,用于聯(lián)合重構(gòu)后的被定義詞詞向量以及上下文信息和潛變量特征進(jìn)行被定義詞詞語(yǔ)定義的生成，具體如下：

釋義生成解碼器的輸入為被定義詞的釋義，釋義生成解碼器初始的隱藏狀態(tài)是由重構(gòu)的被定義詞詞向量、對(duì)齊的上下文表示、潛變量特征拼接，然后進(jìn)行線性映射得到的，具體表示如下：

V＝[V^*；TV_s；z] (5)

將拼接之后的所述被定義詞的生成向量V經(jīng)過(guò)線性變換映射到所述釋義生成解碼器初始的隱藏狀態(tài)h₀；

在第一個(gè)時(shí)刻使用一個(gè)特殊的開始標(biāo)識(shí)BOS與語(yǔ)義向量m進(jìn)行拼接作為第一個(gè)時(shí)刻的釋義生成解碼器的輸入；之后在釋義生成解碼器每一個(gè)解碼的時(shí)刻t上將t時(shí)刻詞語(yǔ)的詞向量V_t與語(yǔ)義向量m進(jìn)行拼接，得到該時(shí)刻釋義生成解碼器的輸入x_t，如公式6所示：

x_t＝[V_t；m] (6)

接收t時(shí)刻的輸入x_t以及t-1時(shí)刻的隱藏表示h_t-1，計(jì)算得到新的隱藏表示h_t；

將釋義生成解碼器t時(shí)刻的隱藏表示h_t經(jīng)過(guò)線性變換按映射到一個(gè)詞表大小的概率分布O_t中，通過(guò)Softmax計(jì)算得到最終的概率分布，選擇分布概率最大的作為t時(shí)刻的輸出y_t，如以下所示：

y_t＝argmax p_t,i (7)

其中，為Softmax操作；

(5)訓(xùn)練基于循環(huán)神經(jīng)網(wǎng)絡(luò)與潛變量結(jié)構(gòu)模型，具體為：

首先使用WikiText-103數(shù)據(jù)對(duì)釋義生成解碼器部分進(jìn)行單獨(dú)的預(yù)訓(xùn)練，預(yù)訓(xùn)練時(shí)設(shè)置生成向量為0向量，當(dāng)連續(xù)n≥5個(gè)輪次epoch在驗(yàn)證集上的困惑度沒(méi)有下降時(shí)，預(yù)訓(xùn)練完畢，選擇訓(xùn)練后在驗(yàn)證集上困惑度最低的模型參數(shù)進(jìn)行保存；

加載預(yù)訓(xùn)練之后釋義生成解碼器模塊的參數(shù)，使用訓(xùn)練集對(duì)整體基于循環(huán)神經(jīng)網(wǎng)絡(luò)與潛變量結(jié)構(gòu)模型進(jìn)行訓(xùn)練優(yōu)化，當(dāng)連續(xù)n≥5個(gè)輪次epoch在驗(yàn)證集上的困惑度沒(méi)有下降時(shí)，訓(xùn)練優(yōu)化結(jié)束；

(6)將待釋義詞語(yǔ)及其上下文信息輸入訓(xùn)練完成的模型中，使用τ＝0.1的簡(jiǎn)單采樣算法進(jìn)行釋義生成，解碼器模塊在生成每一個(gè)字時(shí)可以同時(shí)考慮被定義詞的語(yǔ)義和語(yǔ)境信息，實(shí)現(xiàn)具體語(yǔ)境中待釋義詞語(yǔ)的語(yǔ)義釋義，解決一詞多義問(wèn)題。