[發(fā)明專利]網(wǎng)絡(luò)輿情文本信息情感極性分類處理系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010007184.X
• 申請日: 2020-01-03
• 公開（公告）號: CN111209401A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 裴慶祺;王玉燕
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 何畏

本發(fā)明屬于計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域，公開了一種網(wǎng)絡(luò)輿情文本信息情感極性分類處理系統(tǒng)及方法，網(wǎng)絡(luò)文本情感極性廣泛應(yīng)用與輿情監(jiān)控系統(tǒng)中，但傳統(tǒng)機(jī)器學(xué)習(xí)方法的特征工程提取模塊對文本信息損失較大，分類模型準(zhǔn)確性也不夠高。本方法，數(shù)據(jù)預(yù)處理后，通過BERT預(yù)訓(xùn)練模型fine?tuning的方式構(gòu)建詞向量，BERT模型計(jì)算了句子中的字與其他每個(gè)字之間的相關(guān)性，構(gòu)造的詞向量能較好解決漢語的“一詞多義”和“近義詞”情況，大大減少了詞向量表示的損失，分類模型中，先用Bi?LSTM有效學(xué)習(xí)上下文信息，再用Attention捕獲主要語義信息，有效過濾無價(jià)值輿情信息，最后使用softmax分類，所得輿情文本情感極性分類結(jié)果性能比當(dāng)下主流算法達(dá)到更好的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)自然語言信息處理技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)輿情文本信息情感極性分類處理系統(tǒng)及方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)成為了人們交流思想、表達(dá)意見的重要平臺。當(dāng)經(jīng)濟(jì)社會(huì)中出現(xiàn)的熱點(diǎn)或焦點(diǎn)問題在互聯(lián)網(wǎng)上傳播時(shí)，會(huì)形成具有傾向性的言論觀點(diǎn)，產(chǎn)生具有較強(qiáng)影響力的社會(huì)輿論。對社會(huì)穩(wěn)定和國家安全有著不可忽視的影響。因此，為滿足對網(wǎng)絡(luò)輿情分析的需求，迫切需要提出針對網(wǎng)絡(luò)短文本的情感傾向性分類算法，幫助相關(guān)機(jī)構(gòu)從海量文本數(shù)據(jù)中挖掘出有效的輿情信息以輔助決策。實(shí)現(xiàn)網(wǎng)絡(luò)輿情短文本情感極性分析的基礎(chǔ)是文本分類技術(shù)。

傳統(tǒng)做法是先進(jìn)行特征工程，構(gòu)建出特征向量，再將特征向量輸入各種分類模型進(jìn)行分類。特征工程包括文本預(yù)處理、文本表示、特征選擇與特征抽取。其中文本預(yù)處理又包括去停用詞、分詞模塊，分詞模塊基本以分詞詞典為依據(jù)，通過文檔中的漢字串和詞典中的詞逐一匹配來完成詞的切分，對于網(wǎng)絡(luò)新詞很不友好；文本表示傳統(tǒng)做法常用詞袋模型(BOW,Bag Of Words)或向量空間模型(Vector Space Model)，最大的不足是忽略文本上下文關(guān)系，每個(gè)詞之間彼此獨(dú)立，并且無法表征語義信息；特征選擇與特征抽取，是當(dāng)用特征向量對文檔進(jìn)行表示的時(shí)候，特征向量通常維數(shù)較大.特征選擇和特征抽取屬于降維方法；文本分類算法常用的有支持向量機(jī)算法、決策樹算法、樸素貝葉斯分類算法、神經(jīng)網(wǎng)絡(luò)算法等，但傳統(tǒng)的文本分類算法存在較大缺陷，如：1)支持向量機(jī)(SVM)：對缺失數(shù)據(jù)敏感，且在非線性問題上無通用解決方案；2)決策樹分類：不適用訓(xùn)練大樣本集，在噪聲影響下容易導(dǎo)致過分?jǐn)M合；3)樸素貝葉斯分類：假設(shè)條件在現(xiàn)實(shí)中無法滿足，不能達(dá)到各屬性相互獨(dú)立，影響正確分類等。

近幾年來，隨著深度學(xué)習(xí)在自然語言處理領(lǐng)域不斷發(fā)展，其中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTM)等深度學(xué)習(xí)算法在文本分類中表現(xiàn)出了較為良好地自適應(yīng)性、容錯(cuò)性和模式識別性。主流算法是經(jīng)過文本預(yù)處理、詞嵌入、深度學(xué)習(xí)分類模型三步。詞向量構(gòu)建大多基于word2vec方法，word2vec的思想是利用一個(gè)詞和它在文本中的上下文的詞的關(guān)系，用高維詞向量表示詞語，盡量把相近意思的詞語放在相近的位置，但是關(guān)注的上下文的長度固定。不利于長短句變化較大的文本。深度學(xué)習(xí)算法雖然一定程度上優(yōu)化了特征提取過程，但是還是存在不足，如CNN無法識別處理文本的上下文順序關(guān)系，RNN可以利用內(nèi)部的記憶來處理任意時(shí)序的輸入序列，但只能對部分序列進(jìn)行記憶，在長序列上表現(xiàn)較差，LSTM是RNN模型的一種特殊結(jié)構(gòu)類型，其增加了輸入門、輸出門、忘記門三個(gè)控制單元，可以較好解決神經(jīng)網(wǎng)絡(luò)中長序列依賴問題，但是只能單向得到下文依賴關(guān)系，不能得到上文信息。

綜上所述，現(xiàn)有技術(shù)存在的問題是：傳統(tǒng)機(jī)器學(xué)習(xí)的做法特征工程模塊對文本信息損失較大，分類模型結(jié)果的準(zhǔn)確性也不夠高。深度學(xué)習(xí)模型雖然有一定優(yōu)化，但詞向量表示模塊依舊不夠準(zhǔn)確。深度學(xué)習(xí)特征提取過程不能較好處理上下文依賴關(guān)系，特征提取存在較大損耗。

解決上述技術(shù)問題的主要難度，一方面在于從文本信息到詞向量更精準(zhǔn)表達(dá)，另一方面在于現(xiàn)有深度學(xué)習(xí)分類算法，不能特別準(zhǔn)確地識別上下文關(guān)系，提取文本最主要特征，致使情感極性分析模型性能還有待提高。