[發明專利]基于度量情感學習的標簽表示方法、終端設備及存儲介質

有效

• 申請號: 202111000573.0
• 申請日: 2021-08-30
• 公開（公告）號: CN113449521B
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 蔡飛;宋城宇;王祎童;劉登峰;王思遠;張維明;張鑫;陳洪輝
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/237;G06F40/247;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本發明公開了一種基于度量情感學習的標簽表示方法、終端設備及存儲介質，方法包括：獲取包括多個三元組的標簽集，三元組包括第一詞匯，第一詞匯的反義詞和第一詞匯的近義詞；確定轉換矩陣，利用轉換矩陣將標簽集中三元組轉換為向量空間中的三元組；根據似然比函數和向量空間中的三元組，確定待表示文本中每一個標簽的標簽詞。本發明利用轉換矩陣修正了詞向量之間的相對位置，解決了向量空間中的詞向量重疊問題，使得生成的標簽詞對模型在下游任務的表現有較為明顯的提升；同時，本發明還使用了情感轉移操作獲取能夠有效代表中間類別的標簽詞，使得最終所得標簽詞的準確度接近手動設置標簽詞的準確度，準確度得到大幅提升。

技術領域

本發明屬于一種標簽表示方法，具體是涉及到一種基于度量情感學習的標簽表示方法、終端設備及計算機可讀存儲介質。

背景技術

標簽表示(Label Representation)實質上是通過將類別的標簽用具體的單詞進行替換用以提升模型對于文本語義的理解程度。這一方法被廣泛運用于很多最前沿的遷移學習模型來將其他自然語言處理任務轉換為推理任務，并給很多訓練樣本較少的任務帶來了重大改進。標簽詞的生成依賴于特定任務的輸入數據，例如Yelp-Review數據集中所包含的標簽集合為{1, 2, 3, 4, 5}，可以人為地為每個標簽匹配一個單詞，即{“Great”,“Good”, “Okey”, “Bad”, “Terrible”}，并依據這樣的設置將分類模型從對數字標簽進行預測轉換為對標簽詞進行預測。實驗證明，標簽詞的質量對于下游任務的表現有著較大的影響，特別是在訓練數據較少的情況下效果更為顯著。

較早對于標簽表示的研究主要依靠固定的模式實現標簽與詞之間的匹配，即通過常識確定一個靜態的、語義差異較大的單詞列表（基本上為反義詞）來逐個對應數據集中的標簽。這種方法符合人類對于不同類別文本的認知，但是較難適應不同自然語言處理任務的靈活變化。近期的研究提出了一種標簽詞自動生成的方法，通過計算詞與輸入語句之間的匹配程度確定每一個類別的標簽詞。

然而自動生成的標簽詞存在著以下兩點問題：首先，標簽詞無法確保語義相反的語境獲取足夠高對比度的詞。其次，自動生成的標簽詞常常無法準確表達語義較為相似的過渡類。造成這種現象的原因在于以往的研究忽略了基于詞共現理論得到的詞向量中存在的向量重疊問題。所謂的詞向量重疊為：互為反義詞的一對詞在向量空間中的距離較近。而正確的反義詞對關系應當是相互遠離的。我們認為正是這種重疊使得基于匹配的模型無法生成正確的標簽詞。其中向量重疊表示的是處于相似語境中的詞常常有著較為相似的特征表示，正是這種重疊使得基于匹配的模型無法生成正確的標簽詞。

發明內容

本發明提供了一種基于度量情感學習的標簽表示方法、終端設備及計算機可讀存儲介質，從而解決現有技術中自動生成的標簽詞不準確的技術問題。

本發明內容的第一方面公開了一種基于度量情感學習的標簽表示方法，包括：

獲取包括多個三元組的標簽集，所述三元組包括第一詞匯，所述第一詞匯的反義詞和所述第一詞匯的近義詞；

將所述標簽集中的三元組輸入至利用全連接神經網路訓練好的轉換矩陣中，得到向量空間中的三元組；

根據似然比函數和所述向量空間中的三元組，確定待表示文本中每一個標簽的標簽詞，具體為：

根據似然比函數和所述向量空間中的三元組，確定待表示文本中第一個標簽和最后一個標簽的標簽詞；

根據第一個標簽的標簽詞和最后一個標簽的標簽詞的差值，確定情感梯度；

根據所述情感梯度確定待表示文本中其余標簽的標簽詞。

優選地，將所述標簽集中的三元組輸入至利用全連接神經網路訓練好的轉換矩陣中，得到向量空間中的三元組，具體為：

所述轉換矩陣根據第一公式確定，所述第一公式為：