[發明專利]用于小樣本意圖識別的完型填空式的數據增強方法

在審

• 申請號: 202211071426.7
• 申請日: 2022-09-02
• 公開（公告）號: CN115455144A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 陳洪輝;張鑫;蔡飛;江苗;鄭建明;宋城宇;邵太華;郭昱普;王夢如
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/211;G06F40/30;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本申請中一個或多個實施例提供了一種用于小樣本意圖識別的完型填空式的數據增強方法，內容包括：基于預訓練語言模型構建完型填空式的數據增強任務用于意圖識別，先采用無監督學習方法使得數據增強的結果在語義上與原始輸入句子相似，然后再基于度量分類采用有監督的對比學習方法，使得同一類別的意圖樣本在嵌入空間中更接近彼此，不同類別的意圖樣本更遠離彼此，對比學習方法包括原型層面的對比學習和實例層面的對比學習。在不破壞句法結構和增加噪音的情況下產生有意義的數據，充分利用了有限的數據并獲得可分離的嵌入。在嵌入空間中獲得更好的距離分布，從而改善基于度量的分類方法的性能。

技術領域

本發明屬于意圖識別技術領域，具體涉及一種用于小樣本意圖識別的完型填空式的數據增強方法。

背景技術

意圖識別旨在從用戶的話語中識別出用戶的潛在意圖，這是面向任務的對話系統中的關鍵組成部分。然而，一個實際的挑戰是意圖類別的數量增長速度快于人工注釋數據的速度，導致許多新的意圖類別只有少量數據可用。這種數據缺乏導致傳統深度神經網絡在少量訓練數據上過擬合，嚴重影響了實際應用。因此，一些研究人員提出了小樣本學習來解決數據稀缺問題。一種有效的方法是文本數據增強，但它總是生成噪聲或無意義的數據。

在現實世界的應用中，新的意圖類別迅速出現，并且只有有限的標注完備的數據，因此很難直接應用于優化現有的深度神經網絡。這些網絡一般都會包含一個預訓練語言模型作為其主干，以將文本數據編碼為連續的低維向量，例如BERT和RoBERTa。這樣的模型總是具有多層的復雜架構，因此具有的參數量非常可觀。如果在傳統訓練范式的基礎上，直接利用少量訓練數據更新深度神經網絡模型的參數，模型將只能捕捉到局部特征，導致泛化能力不足和過擬合問題，即在訓練集上表現良好，在測試集上表現不佳。為了處理這樣的問題，Snell等人提出了少樣本學習(FSL)策略來幫助模型僅在有限的數據中獲得泛化能力。上述研究人員將小樣本意圖識別視為元學習問題。它通過一系列小的元任務來模擬小樣本場景。這種方法廣泛應用于關系分類、事件檢測和意圖檢測等小樣本文本分類任務領域。

一個主要的挑戰是，基于元學習的小樣本學習方法仍然很容易陷入因訓練樣本有限而導致的在偏差分布上過擬合的困境。一些研究人員試圖通過數據增強方法來防止過擬合問題。其中一個關鍵思想是回譯：將輸入文本的其他語言表示翻譯成初始語言。另一種常見的方法是利用外部知識庫來獲得與原始句子語義相似的表達。具體來說，Dopierre等人引入了多個知識庫來生成原始輸入的不同釋義句子，而不是重新排序句子中的單詞。然而，雖然回譯可以生成相同語義的不同表達，但它在短文本中表現不佳。它生成的表達通常與原始輸入句子相似甚至相同。而關于釋義生成方法，我們認為它并不適合所有領域的文本增強，因為并不總是可以找到相對應的外部知識庫。且，先前的數據增強相關方法，例如Liu等人提出的方法，訓練效率低下，并且難以擴展到具有大量意圖的任務。

發明內容

本發明要解決的技術問題是提供一種用于小樣本意圖識別的完型填空式的數據增強方法，以解決現有技術存在的上述至少一個問題。

基于上述目的，本申請中一個或多個實施例提供了一種用于小樣本意圖識別的完型填空式的數據增強方法，內容包括：基于預訓練語言模型構建完型填空式的意圖識別任務用于數據增強，先采用無監督學習方法使得數據增強的結果在語義上與原始輸入句子相似，然后再基于度量分類采用有監督的對比學習方法，使得同一類別的意圖樣本在嵌入空間中更接近彼此，不同類別的意圖樣本更遠離彼此，對比學習方法包括原型層面的對比學習和實例層面的對比學習。

基于本發明的上述技術方案，還可以作出如下改進：

可選的，所述無監督學習方法包括：以預訓練語言模型作為特征提取器，采用標記來掩蓋設定比例的輸入詞，根據輸入句子的上下文的語義來預測這些被掩蓋的標記；特征提取器通過加入兩個特殊標記后，將完型填空式的意圖識別任務中的句子編碼為隱藏層向量表示，兩個特殊標記分別表示完型填空式的意圖識別任務中句子的開始和結束，該過程通過以下公式表示：