[發明專利]一種基于遷移學習的情感極性分析方法

在審

• 申請號: 202110455888.8
• 申請日: 2021-04-26
• 公開（公告）號: CN113326695A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 楊鵬;任炳先;周華健;于曉潭
• 申請（專利權）人: 東南大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

本發明公開了一種基于遷移學習的情感極性分析方法，本發明首先構建文本排序模型，彌補當前語言模型缺乏句子級預訓練任務的缺陷，提高模型的邏輯感知與語義表達能力。然后，構建情感極性分析模型，將文本排序模型訓練得到的相關參數遷移到情感極性分析模型中對應的位置。最后，將遷移后的模型在情感極性分析數據集上繼續訓練。本發明利用遷移學習為情感極性分析模型引入領域先驗知識，可以提高模型的領域適應性，有助于獲取更高質量的句子特征，進而提高模型的分類準確率，并且，本發明所采用的注意力機制可以為情感極性分析模型降低評論文本的噪聲干擾，提高模型的分類魯棒性。

技術領域

本發明涉及一種基于遷移學習的情感極性分析方法，屬于互聯網與自然語言處理領域。

背景技術

隨著移動互聯網技術的不斷發展與進步，各大新聞媒體、普通民眾越來越傾向于在社交網絡發布對現實事件的觀點和態度。情感極性分析是用自然語言處理的相關理論自動化的獲取文本情感傾向或者情感類別的方法，具有極大的利用價值。

目前國內外關于情感極性分析的研究已經取得了豐富的成果，對本發明的研究工作具有借鑒意義。現有的情感極性分析方法主要分為基于情感詞典、基于機器學習、基于深度學習3種。基于情感詞典的方法將專家知識引入到情感值的計算過程，適用于缺乏大規模預料的場景，但是存在需要不斷擴充和移植性較差的缺點。基于機器學習的方法用監督學習的方式訓練一個分類器，與基于情感詞典的方法相比，機器學習方法建模簡單，擴展性和移植性更好。但是機器學習方法需要高質量的標注數據集，會耗費一定的標注成本。基于深度學習的方法利用神經網絡模型訓練分類器。與基于情感詞典和機器學習的方法相比，深度學習模型有更強的表達能力、取得了更好的分類指標。近年來，隨著預訓練語言模型的發展，基于深度學習的方式取得了更好的效果。然而考慮具體的應用場景，現有深度學習模型仍存在不足。首先，現有語言模型缺乏句子級預訓練任務，導致模型的邏輯感知和語義表達能力仍有進步空間。另外，對于社交評論的情感分析而言，其內容往往具有簡短、隨意的特點，使得句子特征不密集、噪聲多，導致情感極性分析模型的分類魯棒性不夠。

針對當前深度學習模型存在的邏輯感知和語義表達能力不足、分類魯棒性不夠問題，本發明提出一種基于遷移學習的情感極性分析方法。一方面，模型使用遷移學習的方法，首先在文本排序任務中訓練模型的邏輯感知與語義表達能力，然后將相關模型參數遷移到情感極性分析模型中。通過遷移學習，模型可以獲得領域先驗知識，獲取高質量的句子特征并提高模型的分類準確率。另一方面，情感極性分析模型抽取句子特征后，進一步結合注意力機制降低特征噪聲，可以提高模型的分類魯棒性。

發明內容

針對現有情感極性分析技術中存在的問題與不足，本發明提出了一種基于遷移學習的情感極性分析方法，該方法基于遷移學習為情感極性分析模型引入領域先驗知識，可以提高模型的分類準確率。同時，本發明基于注意力機制為情感極性分析模型降低噪聲干擾，能夠提高模型的分類魯棒性。

為了實現上述目的，本發明的技術方案如下：一種基于遷移學習的情感極性分析方法，首先按照一定比例將評論文本中字或者詞的位置擾亂。然后，構建文本排序模型，將擾亂的句子作為輸入，正常語序的句子作為輸出來訓練模型。接著，構建情感極性分析模型，將文本排序模型中的相關參數遷移到情感極性分析模型中對應的位置。最后，對遷移后的情感極性分析模型繼續訓練。該方法通過遷移學習為情感極性分析模型引入先驗知識，可以提高模型的領域適應性，有助于獲取更高質量的句子特征，進而提高模型的分類準確率。

一種基于遷移學習的情感極性分析方法，該方法主要包括4個步驟，具體如下：

步驟1，構建句子對數據集。按照設定的比例(根據對比實驗結果確定比例大小)將情感極性分析數據集中每個句子的詞語位置擾亂，同時保留擾亂前的句子，每一組擾亂后的句子和正常語序的句子構成新數據集中的一條訓練數據。