[發(fā)明專利]一種文本分類方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911010301.1
• 申請(qǐng)日: 2019-10-23
• 公開（公告）號(hào): CN110968692B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 張強(qiáng);鄧君華;趙鯨朋;柴博;馬應(yīng)龍;宋博川;賈全燁
• 申請(qǐng)（專利權(quán)）人: 全球能源互聯(lián)網(wǎng)研究院有限公司;國(guó)網(wǎng)江蘇省電力有限公司;國(guó)網(wǎng)江蘇省電力有限公司電力科學(xué)研究院;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/31;G06F18/2415;G06F40/30;G06N3/044;G06N3/08
• 代理公司: 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 張琳琳

1.一種文本分類方法，其特征在于，包括：

獲取待分類文本的父標(biāo)簽，將所述父標(biāo)簽轉(zhuǎn)化為父標(biāo)簽詞索引向量；

將父標(biāo)簽詞索引向量與文本詞索引向量進(jìn)行父標(biāo)簽嵌入操作，獲取文本詞索引表征；

將所述文本詞索引表征進(jìn)行轉(zhuǎn)化生成待分類文本的語(yǔ)義向量；

利用神經(jīng)元有序的循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所述語(yǔ)義向量的層次結(jié)構(gòu)，并對(duì)層次結(jié)構(gòu)的各層參數(shù)進(jìn)行訓(xùn)練，輸出文本表征；

利用至少一層多層感知器對(duì)所述文本表征進(jìn)行非線性操作，獲取待分類文本各層標(biāo)簽對(duì)應(yīng)的概率分布；

根據(jù)文本最后一層標(biāo)簽的概率分布，獲取文本分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的文本分類方法，其特征在于，所述將父標(biāo)簽詞索引向量與文本詞索引向量進(jìn)行父標(biāo)簽嵌入操作，獲取文本詞索引表征的步驟，通過以下公式進(jìn)行：

其中，z_i，j表示在第j級(jí)標(biāo)簽的第i個(gè)文本的文本詞索引表征，w_i表示第i個(gè)文本詞索引向量，表示向量拼接操作，c_i，j-1表示第i個(gè)文本的第j-1級(jí)標(biāo)簽詞索引向量。

3.根據(jù)權(quán)利要求1所述的文本分類方法，其特征在于，所述利用神經(jīng)元有序的循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所述語(yǔ)義向量的層次結(jié)構(gòu)，并對(duì)層次結(jié)構(gòu)的各層參數(shù)進(jìn)行訓(xùn)練的步驟，包括：

利用神經(jīng)元有序的循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)待分類文本中的語(yǔ)法信息，學(xué)習(xí)待分類文本語(yǔ)義向量的層次結(jié)構(gòu)；

將前一層級(jí)標(biāo)簽訓(xùn)練的網(wǎng)絡(luò)的權(quán)重參數(shù)遷移到當(dāng)前層級(jí)標(biāo)簽作為其初始化參數(shù)進(jìn)行訓(xùn)練，對(duì)層次結(jié)構(gòu)的各層參數(shù)進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的文本分類方法，其特征在于，輸出的文本表征通過以下公式表示：

其中，h_t^j表示輸入序列在t時(shí)刻的隱藏層狀態(tài)向量，表示對(duì)j-1級(jí)標(biāo)簽進(jìn)行分類時(shí)網(wǎng)絡(luò)最終的權(quán)重參數(shù)，x_t^j表示t時(shí)刻第j級(jí)標(biāo)簽的待分類文本的語(yǔ)義向量集合。

5.根據(jù)權(quán)利要求3所述的文本分類方法，其特征在于，所述利用至少一層多層感知器對(duì)所述文本表征進(jìn)行非線性操作，獲取待分類文本各層標(biāo)簽對(duì)應(yīng)的概率分布的步驟，包括：

利用tanh非線性層和softmax非線性層兩層全連接層做非線性變換操作，預(yù)測(cè)第j級(jí)標(biāo)簽上的概率分布：

d_j＝tanh(W₁h_T^j+b₁)，

y_j＝softmax(W₂d_j+b₂)，

其中，d_j為tanh非線性層的非線性變換操作輸出，W₁和b₁分別表示為tanh非線性層的權(quán)值矩陣和偏置，y_j為softmax非線性層的非線性變換操作輸出，W₂和b₂分別表示softmax非線性層的權(quán)值矩陣和偏置。

6.根據(jù)權(quán)利要求5所述的文本分類方法，其特征在于，以最小化預(yù)測(cè)分布與真實(shí)分布的交叉熵作為損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，所述損失函數(shù)為：

其中，C^j表示第j級(jí)標(biāo)簽種類數(shù)，N表示訓(xùn)練的樣本數(shù)，表示預(yù)測(cè)標(biāo)簽，y表示真實(shí)標(biāo)簽，表示第n個(gè)文本的第c個(gè)位置的真實(shí)標(biāo)簽，表示第n個(gè)文本的第c個(gè)位置的預(yù)測(cè)標(biāo)簽。