[發明專利]基于卷積神經網絡的跨領域情感分析的模型訓練方法

有效

• 申請號: 201910020227.5
• 申請日: 2019-01-09
• 公開（公告）號: CN109753566B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 孟佳娜;于玉海
• 申請（專利權）人: 大連民族大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06K9/62
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 劉斌

基于卷積神經網絡的跨領域情感分析的模型訓練方法，屬于跨領域情感分類領域，為了解決跨領域情感分析問題，S1.文本預處理；S2.訓練詞向量模型；S3.跨領域模型遷移；其中，步驟S3：通過源領域訓練神經網絡模型，對訓練好的模型進行遷移，共享模型中卷積核的權重值，使用源領域訓練好的卷積核權重提取目標領域中對應的特征，對目標領域的少部分數據進行再次訓練，調整之前訓練好模型的全連接層權重的參數，效果是實現了對跨領域情感文本進行模型遷移。

技術領域

本發明屬于跨領域情感分類領域，涉及一種基于卷積神經網絡的跨領域情感分析的模型訓練方法。

背景技術

在機器學習算法和數據挖掘的算法中，一個重要的假設就是的訓練數據和將來的訓練數據，一定在同一特征空間并具有相同的數據分布。然而這樣的假設在實際應用案例中不會成立。因此當數據分布發生改變時，大多數的統計模型需要使用新數據的訓練樣本進行重建。在現實應用中，每天所產生的數據多的令人難以置信，按照當前的數據產生速度，每天都會產生2.5個五萬億字節的數據量，如果重新收集數據，再對模型進行重建這需要很大量的代價，顯然這是不可能的。而且這些產生的數據是初始狀態的，沒有特定的標注，如果人工進行標注，這樣的成本顯然是無法接受的，因此如果可以降低重新收集訓練數據的需求和代價，那是非常不錯的。這樣可以有效的打破在現有數據中的局限性，而且可以降低很大的成本和時間。

在1995年開始，遷移學習就以不同的名字收到了越來越多的人關注：終身學習，知識遷移，感應遷移，多任務學習，知識整合，前后敏感學習，元學習，增量或累計學習。遷移學習是一種多任務的學習技術，根據已有數據對未知數據進行預測，提高對數據的使用率，降低訓練和標注成本是的進行遷移學習的主要目的。多任務學習可以充分利用隱含在多個相關任務的訓練信息中的特定領域信息，增加其模型的泛化能力，并且近期加入對抗機制，降低特征權重對整個模型的影響。在2005年美國國防部高級研究計劃局的信息處理技術辦公室發表的代理公告，給出了遷移學習的新任務：把之前的任務匯總后學習到的知識和技能應用到新的任務中的能力。也就是說的任務不能只局限于訓練數據中尋找特性，還要在其基礎上提高到未知的應用當中，提升泛化能力。例如：可以發現學習如何辨別梨子可以有助于辨別蘋果，類似的，學會了電子琴后將會有助于學習鋼琴。人類可以智能的把先前學到的知識應用到新的問題上，并進而快速的更好的解決新的問題。

情感分析是在人們對產品，服務等事物上的情感計算的研究，用于判斷用戶對事情和事物的評估和態度等等。該領域發展是非常快速，在2000年初以來情感分析成為了自然語言處理中最活躍的研究領域之一的項目，因為產品、服務不斷的增多和優化，用戶的反饋意見是決定產品好壞的第一要素，現如今如果用戶想要購買產品，將不再局限于家人和朋友的意見，更多的是去尋找有用的用戶評價或者是網絡論壇。而公司可以根據這些評論對自己的產品進行判斷，對產品優化改進，看看該產品未來市場是否受到大眾的喜愛，而對于公司來說，其產品是多種多樣的，用了大量的人力標注了一批數據，訓練了一批模型，只適用于在某一特定產品下顯然是不行，而且某些產品更新換代后會產生更多樣的反饋信息，這時原有的模型也可能不再適用，所以怎樣從已有的數據中提升泛化能力，成為的主要研究內容，因此將遷移學習加入到情感分類中，是一項非常有意義的工作。

遷移學習在圖像領域和文本領域中的應用展現了優勢。Blitzer等提出的SCL方式尋找目標領域和源領域之間的共同特征，Pan等提出了SFA算法將支點與非支點數據在源領域和目標領域建立聯系。目前，隨著深度學習的快速發展，將深度學習的相關研究方法應用到遷移學習中的研究思路，受到國內外研究人員的重視，取得了很多研究成果，Ganin等在2016年提出了DANN算法將領域自適應學習嵌入到特征表示過程中，所得到的自的前饋神經網絡能夠直接應用到目標領域。

近些年，遷移學習受到人們廣泛關注，最早在遷移學習領域的綜述文章給出定義。它將遷移學習方法分為基于樣本的遷移學習方法、基于特征的遷移學習方法、基于模型的遷移學習方法和基于關系的遷移學習方法四大類。