[發(fā)明專利]面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010102690.7
• 申請(qǐng)日: 2020-02-19
• 公開（公告）號(hào): CN111339440A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 周德宇;張朦;楊揚(yáng)
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06F16/9536
• 分類號(hào): G06F16/9536;G06F40/211;G06N3/04
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法，其特征在于，包括如下步驟：

(1)對(duì)新聞文本進(jìn)行預(yù)處理；

(2)通過句子狀態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)，對(duì)詞編碼得到句子表示；包括：使用編碼器對(duì)詞編碼得到每個(gè)詞的隱狀態(tài)，使用注意力機(jī)制計(jì)算每個(gè)詞的權(quán)重，最后對(duì)每個(gè)詞加權(quán)求和，得到每個(gè)句子的語義表示；

(3)通過文檔狀態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)，對(duì)句子編碼得到文檔表示；包括：使用編碼器對(duì)句子編碼得到每個(gè)句子的隱狀態(tài)，使用注意力機(jī)制計(jì)算每個(gè)句子的權(quán)重，最后對(duì)每個(gè)句子加權(quán)求和，得到文檔的語義表示；

(4)以文檔表示為基礎(chǔ)，使用一個(gè)多層感知機(jī)將文檔表示映射成標(biāo)簽分布，并使用softmax函數(shù)進(jìn)行歸一化處理，得到相關(guān)情緒的排序結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法，其特征在于，所述步驟(1)中的新聞文本預(yù)處理包括：對(duì)文檔進(jìn)行分詞，過濾掉文檔中的非中文字符、停用詞和在所處理的數(shù)據(jù)集中僅出現(xiàn)一次的詞。

3.根據(jù)權(quán)利要求1所述的一種面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法，其特征在于，所述步驟(2)中對(duì)于句子s_i來說，時(shí)間步t的狀態(tài)表示為：由對(duì)于每一個(gè)詞w_ij的隱狀態(tài)和句子級(jí)狀態(tài)組成，w_ij代表句子s_i的第j個(gè)詞的詞向量，N_i是句子s_i的長度；句子s_i的語義表示為：

其中，

是詞w_ij的權(quán)重，W_w、b_w和u_w是模型參數(shù)，softmax(·)是一個(gè)歸一化的邏輯回歸函數(shù)，tanh(·)是雙曲正切激活函數(shù)。

4.根據(jù)權(quán)利要求1所述的一種面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法，其特征在于，所述步驟(3)中對(duì)于文檔d來說，時(shí)間步t的狀態(tài)表示為：由對(duì)于每一個(gè)句子s_i的隱狀態(tài)和文檔級(jí)狀態(tài)q^t組成，s_i表示文檔d中的第i句的語義表示，M是文檔中的句子數(shù)目；文檔d的語義表示為：

其中，

是句子s_i的權(quán)重，W_s、b_s和u_s是模型參數(shù)。

5.根據(jù)權(quán)利要求1所述的一種面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法，其特征在于，所述步驟(4)中使用預(yù)先設(shè)定的閾值選出相關(guān)情緒標(biāo)簽集合，并排序得到相關(guān)情緒的排序結(jié)果。

6.根據(jù)權(quán)利要求1所述的一種面向新聞文本基于層級(jí)狀態(tài)神經(jīng)網(wǎng)絡(luò)的社會(huì)情緒排序方法，其特征在于，相關(guān)情緒排序的任務(wù)是學(xué)習(xí)得到排序函數(shù)g(d_i)＝[g₁(d_i),g₂(d_i),…,g_T(d_i)]為每個(gè)情緒e_j分配一個(gè)分?jǐn)?shù)g_j(d_i)，其中T為情緒標(biāo)簽數(shù)，d_i為訓(xùn)練集中的第i個(gè)新聞文檔；學(xué)習(xí)時(shí)使用的相關(guān)情緒排序損失函數(shù)表示為：

其中K為訓(xùn)練集中新聞文檔數(shù)，e_t表示屬于相關(guān)情緒集合R_i的標(biāo)簽，e_s表示相關(guān)性低于e_t的情緒標(biāo)簽，兩者關(guān)系表示為e_s∈＜(e_t)；ω_ts為相關(guān)性系數(shù)，標(biāo)準(zhǔn)化項(xiàng)norm_t,s的設(shè)置如下：

表示不相關(guān)的情緒集合。