[發(fā)明專利]一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110685564.3
• 申請日: 2021-06-21
• 公開（公告）號: CN113505222A
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計）人: 王紅;莊魯賀;滑美芳;李威;張慧;韓書
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/335;G06F40/117;G06F40/242;G06F40/279;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆偉姣

1.一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，包括：

獲取政務(wù)文本數(shù)據(jù)及其對應(yīng)的類別標(biāo)簽；

構(gòu)建文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型，文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型包括用于將政務(wù)文本數(shù)據(jù)映射為向量的嵌入層、雙層長短期記憶網(wǎng)絡(luò)層和全連接層；

根據(jù)政務(wù)文本數(shù)據(jù)和類別標(biāo)簽訓(xùn)練文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型；其中，在雙層長短期記憶網(wǎng)絡(luò)層中，雙向長短期記憶網(wǎng)絡(luò)的輸出嵌入向量和輸入嵌入向量進(jìn)行拼接，將得到的拼接向量輸入到單向長短期記憶網(wǎng)絡(luò)中，由全連接層對單向長短期記憶網(wǎng)絡(luò)的輸出向量的長度進(jìn)行收縮，以與類別標(biāo)簽數(shù)量對應(yīng)；

根據(jù)訓(xùn)練后的文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型得到待分類政務(wù)文本數(shù)據(jù)的分類結(jié)果。

2.如權(quán)利要求1所述的一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，對政務(wù)文本數(shù)據(jù)經(jīng)預(yù)處理后進(jìn)行特征提取，得到word2vec詞向量。

3.如權(quán)利要求2所述的一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，對word2vec詞向量通過CBOW模型進(jìn)行訓(xùn)練后用于分類。

4.如權(quán)利要求1所述的一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，對類別標(biāo)簽進(jìn)行編碼，得到標(biāo)簽映射列表，將政務(wù)文本數(shù)據(jù)進(jìn)行單字轉(zhuǎn)換映射后，構(gòu)建詞向量。

5.如權(quán)利要求4所述的一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，對類別標(biāo)簽采用onehot編碼。

6.如權(quán)利要求1所述的一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，訓(xùn)練文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型的過程中，在嵌入層中將政務(wù)文本數(shù)據(jù)映射為二維向量，在雙向長短期記憶網(wǎng)絡(luò)中輸出一維向量，并將雙向長短期記憶網(wǎng)絡(luò)的輸出嵌入向量和輸入嵌入向量進(jìn)行拼接。

7.如權(quán)利要求1所述的一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類方法，其特征在于，對政務(wù)文本數(shù)據(jù)進(jìn)行預(yù)處理，包括：

確定政務(wù)文本數(shù)據(jù)的缺失值比例，根據(jù)缺失值比例，清理缺失值所在的政務(wù)文本數(shù)據(jù)或填充缺失值；

刪除除字母、數(shù)字、漢字以外的所有符號；

采用jieba分詞方法，構(gòu)造前綴詞典，根據(jù)前綴詞典對政務(wù)文本數(shù)據(jù)進(jìn)行切分，根據(jù)切分位置，構(gòu)造有向無環(huán)圖，根據(jù)動態(tài)規(guī)劃算法得到最大概率路徑，以此得到最終的分詞切分形式，對分詞后的政務(wù)文本數(shù)據(jù)刪除停用詞。

8.一種基于文本循環(huán)神經(jīng)網(wǎng)絡(luò)的政務(wù)文本分類系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取模塊，被配置為獲取政務(wù)文本數(shù)據(jù)及其對應(yīng)的類別標(biāo)簽；

模型構(gòu)建模塊，被配置為構(gòu)建文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型，文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型包括用于將政務(wù)文本數(shù)據(jù)映射為向量的嵌入層、雙層長短期記憶網(wǎng)絡(luò)層和全連接層；

模型訓(xùn)練模塊，被配置為根據(jù)政務(wù)文本數(shù)據(jù)和類別標(biāo)簽訓(xùn)練文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型；其中，在雙層長短期記憶網(wǎng)絡(luò)層中，雙向長短期記憶網(wǎng)絡(luò)的輸出嵌入向量和輸入嵌入向量進(jìn)行拼接，將得到的拼接向量輸入到單向長短期記憶網(wǎng)絡(luò)中，由全連接層對單向長短期記憶網(wǎng)絡(luò)的輸出向量的長度進(jìn)行收縮，以與類別標(biāo)簽數(shù)量對應(yīng)；

文本分類模塊，被配置為根據(jù)訓(xùn)練后的文本循環(huán)神經(jīng)網(wǎng)絡(luò)分類模型得到待分類政務(wù)文本數(shù)據(jù)的分類結(jié)果。

9.一種電子設(shè)備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機(jī)指令，所述計算機(jī)指令被處理器運行時，完成權(quán)利要求1-7任一項所述的方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，用于存儲計算機(jī)指令，所述計算機(jī)指令被處理器執(zhí)行時，完成權(quán)利要求1-7任一項所述的方法。