[發明專利]深層情感語義識別方法、系統、介質、計算機設備及終端

在審

• 申請號: 202011363004.8
• 申請日: 2020-11-27
• 公開（公告）號: CN112528668A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 游蘭;彭慶喜
• 申請（專利權）人: 湖北大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06K9/62
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明屬于情感語義識別技術領域，公開了一種深層情感語義識別方法、系統、介質、計算機設備及終端，包括采集樣本數據，構建訓練語料庫；對訓練語料庫中的樣本數據進行分析，采用不同的參數通過Bagging并行訓練得到多個不同BERT預訓練模型；采用得到的多個不同BERT預訓練模型分別獲取文本的雙向語義詞向量表示；通過雙向GRU模型提取文本上下文的全局語義特征；對提取的全局語義特征進行融合，將多維度特征轉換為一維的特征向量；基于得到的一維特征向量利用softmax函數識別文本的情感類別。本發明能準確的理解評論文本中的情感語義。

技術領域

本發明屬于情感語義識別技術領域，尤其涉及一種深層情感語義識別方法、系統、介質、計算機設備及終端，具體涉及一種基于BERT-BiGRU多模的深層情感語義識別方法。

背景技術

目前，越來越多的民眾通過社交媒體了解社會熱點新聞，并以評論的形式表達態度和意見，對評論進行情感傾向性分析，有助于輿情管控。然而現有情感分析模型存在分類效果不理想、泛化能力不足，傳統模型也會帶來的一詞多義和特征抽取能力較弱問題。

由機器學習算法的誤差分析可知，通過訓練得到的模型要保持偏差和方差均衡，是希望訓練后的模型既能夠保持其穩定性，也能充分擬合數據。但一般情況下，難以達到平衡，方差和偏差本身也具有沖突性。當模型訓練數據的擾動性不足以使得學習器發生明顯改變，此時偏差占主要地位，導致訓練集和測試集表現均差產生欠擬合現象；而隨著訓練次數的增多，模型的擬合能力越來越強，方差慢慢占據主導型，輕微的數據擾動都將使模型變化，此時過度學習訓練集的特征，導致模型在訓練集上表現十分優異，而在測試集上效果不佳，出現過擬合現象。

通過上述分析，現有技術存在的問題及缺陷為：傳統模型存在一詞多義和特征抽取能力較弱問題。某些特殊詞語在不同場景下，表現出不同的情感，卻在詞向量空間代表同樣的特征，容易造成詞向量歧義，導致情感分析出現失誤。除此之外，大多數模型均為單一模型，由于其具有隨機性，只能在某一方面表現較好，存在泛化能力不足的問題。總而言之，現有技術在社交網絡信息處理上，情感識別方法識別不準確，可擴展性以及實用性不高。

解決以上問題及缺陷的難度為：

由機器學習算法的誤差分析可知，通過訓練得到的模型要保持偏差和方差均衡，是希望訓練后的模型既能夠保持其穩定性，也能充分擬合數據。但一般情況下，難以達到平衡，方差和偏差本身也具有沖突性。當模型訓練數據的擾動性不足以使得學習器發生明顯改變，此時偏差占主要地位，導致訓練集和測試集表現均差產生欠擬合現象；而隨著訓練次數的增多，模型的擬合能力越來越強，方差慢慢占據主導型，輕微的數據擾動都將使模型變化，此時過度學習訓練集的特征，導致模型在訓練集上表現十分優異，而在測試集上效果不佳，出現過擬合現象。

解決以上問題及缺陷的意義為：

針對傳統語言模型的一詞多義和特征抽取能力較弱的問題，提出BERT-BiGRU模型獲得更深層次的文本語義特征信息；考慮到單模型容易出現過擬合問題，采用交叉驗證的方式訓練數據集，然后使用集成學習結合多個BERT預訓練模型組成的基分類器，來提高分類的泛化能力和準確率。在生活工作中，能夠使用本發明針對數據信息來挖掘情感語義，隨著越來越多的人喜歡使用表情來表達語義信息，還可以加以利用圖片或者視頻信息來挖掘情感語義信息。

發明內容

針對現有技術存在的問題，本發明提供了一種深層情感語義識別方法、系統、介質、計算機設備及終端。

本發明是這樣實現的，一種基于BERT-BiGRU多模的深層情感語義識別方法，所述基于BERT-BiGRU多模的深層情感語義識別方法包括：

步驟一，采集樣本數據，構建訓練語料庫；對訓練語料庫中的樣本數據進行分析，采用不同的參數如：參數：學習率、訓練批次、文本切分長度等。通過Bagging并行訓練得到多個不同BERT預訓練模型；