[發(fā)明專利]一種基于層次注意力機(jī)制的半監(jiān)督網(wǎng)絡(luò)表示學(xué)習(xí)模型

在審

• 申請?zhí)枺?/td>: 201910821415.8
• 申請日: 2019-09-02
• 公開（公告）號: CN110781271A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計）人: 姚宗強(qiáng);崇志強(qiáng);劉杰;徐福華;周作靜;馬世乾;楊曉靜;郭悅;尚學(xué)軍;王偉臣;鄧君怡;李國棟;霍現(xiàn)旭;王旭東;黃志剛;呂金炳;張文政;張津沛;蘇立偉
• 申請（專利權(quán)）人: 國網(wǎng)天津市電力公司電力科學(xué)研究院;國網(wǎng)天津靜海供電有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/30
• 代理公司: 12209 天津盛理知識產(chǎn)權(quán)代理有限公司
• 代理人: 王來佳

1.一種基于層次注意力機(jī)制的半監(jiān)督網(wǎng)絡(luò)表示學(xué)習(xí)模型，其特征在于：包括如下步驟：

步驟1)，詞級語義編碼：輸入以句號分句的節(jié)點文本，使用詞向量查詢的方法初始化每個詞的初始語義表示，后利用雙向GRU以序列的方式對句中的詞進(jìn)行高層的語義編碼；

步驟2)，句級語義編碼：根據(jù)詞的高層語義表示，以詞級注意力機(jī)制得到句子的初始語義表示，后利用另一組雙向GRU學(xué)習(xí)文本中每個句子的高層語義表示；

步驟3)，節(jié)點文本表示：根據(jù)句子的高層語義表示，以句級注意力機(jī)制得到文本的表示向量，與節(jié)點文本中各詞的詞向量平均池化向量相加得到節(jié)點的文本表示；

步驟4)，得到節(jié)點結(jié)構(gòu)表示向量及節(jié)點的表示向量：隨機(jī)初始化節(jié)點結(jié)構(gòu)表示向量，用對數(shù)似然損失函數(shù)優(yōu)化得到結(jié)構(gòu)表示向量，將節(jié)點的文本表示向量與結(jié)構(gòu)表示向量拼接得到節(jié)點的表示向量；

步驟5)，半監(jiān)督框架下引入節(jié)點標(biāo)簽：在半監(jiān)督學(xué)習(xí)的框架下，將帶標(biāo)簽節(jié)點的標(biāo)簽信息引入網(wǎng)絡(luò)表示學(xué)習(xí)，將分類損失與步驟4中的對數(shù)似然損失聯(lián)合優(yōu)化得到最終的節(jié)點表示向量。

2.根據(jù)權(quán)利要求1所述的一種基于層次注意力機(jī)制的半監(jiān)督網(wǎng)絡(luò)表示學(xué)習(xí)模型，其特征在于：所述的步驟1)中，輸入以句號分句的節(jié)點文本，其中節(jié)點u的文本信息可表示為如下形式：

D_u＝(S_u1，S_u2，…，S_uq)

其中，S_ui為節(jié)點u文本的第i個句子，q為該文本所包含的句子總數(shù)；

S_ui可表示為：

其中為句子S_ui的第j個詞，以隨機(jī)初始化的d維詞向量表示，m為該句子所包含的詞的個數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于層次注意力機(jī)制的半監(jiān)督網(wǎng)絡(luò)表示學(xué)習(xí)模型，其特征在于：所述的步驟1)中，為了獲取句中詞的高層語義表示，使用雙向GRU對詞向量進(jìn)行編碼，t時刻GRU的狀態(tài)h_t通過如下公式計算：

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

公式中，r_t、z_t分別代表重置門、更新門，用于控制信息的傳遞，σ為sigmoid激活函數(shù)，W、U和b為網(wǎng)絡(luò)參數(shù)，⊙代表矩陣元素乘法，x_t為序列在t時刻的表示向量，為t時刻GRU的候選狀態(tài)。

4.根據(jù)權(quán)利要求1所述的一種基于層次注意力機(jī)制的半監(jiān)督網(wǎng)絡(luò)表示學(xué)習(xí)模型，其特征在于：所述的步驟1)中，利用雙向GRU以序列的方式對句中的詞進(jìn)行高層的語義編碼的具體步驟為：

步驟1.1)前向的GRU編碼階段：

利用GRU對句中的詞向量序列按照原始順序進(jìn)行編碼得到前向的隱藏特征，對于第i個句中的第j個詞，

步驟1.2)反向的GRU編碼階段：

步驟1.3)雙向編碼特征結(jié)合階段：

將步驟1.1)與步驟1.2)中得到的兩個方向的隱藏特征向量進(jìn)行拼接，得到每個詞雙向的高層語義表示：