[發明專利]一種用于文本情感分類的深度遷移學習方法

在審

• 申請號: 202010550138.4
• 申請日: 2020-06-16
• 公開（公告）號: CN111680160A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 代祖華;牟巧玲;李泓毅;王玉環
• 申請（專利權）人: 西北師范大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 西安合創非凡知識產權代理事務所(普通合伙) 61248
• 代理人: 楊蕾

本發明公開了一種用于文本情感分類的深度遷移學習方法，包括：源域預訓練，選取較大規模的數據作為源域訓練樣本，針對目標識別任務進行有監督地訓練卷積神經網絡，得到預訓練模型；特征信息遷移，構建與預訓練模型具有相同結構的卷積神經網絡，將較小規模的文本數據作為目標域的目標任務，利用上一步獲得的預訓練模型中除全連接層以外的所有層參數初始化該網絡對應層的參數，采用目標數據作為訓練樣本對網絡進行微調。本發明的方法實現源域到目標域的特征信息遷移，在情感分類任務中有著顯著的效果，獲得較高的分類準確率，提高模型的適應性。

技術領域

本發明涉及文本學習方法，具體涉及一種用于文本情感分類的深度遷移學習方法。

背景技術

隨著移動互聯網、社交網絡、電子商務等信息技術的蓬勃發展，網站評論區、微博以及各大電商平臺成為互聯網用戶的重要載體。如何將此類平臺上的文本評論信息高效、合理的處理、分析并加以利用，是研究人員廣泛關注的課題。情感分類是指根據文本所表達的含義和情感信息將文本劃分成正向或負向類型，是對文本作者傾向性和觀點、態度的劃分。因此，對于輿情監控有著重要的研究意義。

傳統的情感分類方法有基于詞典的方法和基于機器學習方法?；谠~典的方法主要依賴于詞典 數據集，通過點互信息量 ( Pointwise Mutual Information，PMI)等方法來判斷新詞的情感傾向， 進而對文本進行情感分類。基于機器學習方法通常使用詞袋 (Bag of Words，BOW) 模型將文本表示成定長向量，然后使用監督學習方法對文本情感進行分類。2013年，Google公布了一款可以將文本有效地表示為低維且連續形式的詞向量工具Word2Vec，這成為在自然語言處理( Natural Language Processing，NLP) 領域引入深度學習技術的基礎。

深度學習(Deep Learning,DL)是一種受大腦結構和功能啟發的人工神經網絡，是一種新的分類方法。該方法可以從海量數據中學習高級特征，通過無監督或半監督特征學習算法和分層特征提取來自動提取數據特征，被廣泛應用于圖像、文本和語音識別等高維特征數據處理中。目前，用于文本分類問題的深度學習方法之一是卷積神經網絡（Convolutional Neural Network， CNN），且大量研究表明，CNN在文本分類問題中顯示出良好的效果。通常，深度學習依賴大規模訓練數據，需要大量標注數據去理解潛在的數據模式。然而，在一些特殊領域，數據收集復雜且昂貴，構建大規模、高質量的標注數據集非常困難，訓練數據不足不可避免。這就導致在訓練數據不足情況下深度學習造成過擬合現象。遷移學習(Transfer Learning,TL)有效地解決了這一問題。遷移學習是一種機器學習方法，可以把經驗知識“遷移”到新的學習中，將已經廣泛使用的大數據“挪用”到小數據領域，以攻克小數據領域里數據和經驗知識匱乏的問題。該方法既不要求訓練數據必須與測試數據獨立同分布（i.i.d.），也不必有大量的標記數據。

深度學習與遷移學習的結合稱為深度遷移學習（Deep Transfer Learning，DTL）。深度遷移學習是一種將其他領域訓練到的深度模型重用于目標領域的方法，能夠有效降低模型的訓練時間，使現有數據得到更充分的利用，提高深度網絡在實際應用中的泛化能力。目前，深度遷移學習在計算機視覺領域應用極為廣泛，而在自然語言處理（NaturalLanguage Processing，NLP）領域卻用途寥寥。在NLP領域現有的遷移學習方法大部分都是基于傳統統計機器學習算法。

深度學習方法被廣泛應用于文本情感分類問題，采用分層自動提取文本特征，有效解決了文本情感分類中特征提取困難問題。然而，深度學習依賴大規模訓練數據，需要大量標注數據去理解潛在的數據模式。當沒有足夠標記數據來訓練網絡模型時，深度學習用于文本情感分類的準確率極低。

發明內容

本發明的主要目的在于提供一種用于文本情感分類的深度遷移學習方法，實現源域到目標域的特征信息遷移，在情感分類任務中有著顯著的效果，獲得較高的分類準確率，提高模型的適應性。