[發明專利]用于小樣本意圖識別的完型填空式的數據增強方法

在審

• 申請號: 202211071426.7
• 申請日: 2022-09-02
• 公開（公告）號: CN115455144A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 陳洪輝;張鑫;蔡飛;江苗;鄭建明;宋城宇;邵太華;郭昱普;王夢如
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/211;G06F40/30;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，包括：基于預訓練語言模型構建完型填空式的數據增強任務用于意圖識別，先采用無監督學習方法使得數據增強的結果在語義上與原始輸入句子相似，然后再基于度量分類采用有監督的對比學習方法，使得同一類別的意圖樣本在嵌入空間中更接近彼此，不同類別的意圖樣本更遠離彼此，對比學習方法包括原型層面的對比學習和實例層面的對比學習。

2.如權利要求1所述的用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，所述無監督學習方法包括：以預訓練語言模型作為特征提取器，采用標記來掩蓋設定比例的輸入詞，根據輸入句子的上下文的語義來預測這些被掩蓋的標記；特征提取器通過加入兩個特殊標記后，將完型填空式的意圖識別任務中的句子編碼為隱藏層向量表示，兩個特殊標記分別表示完型填空式的意圖識別任務中句子的開始和結束，該過程通過以下公式表示：

其中，F(·)為特征提取器，T為完型填空式模板，[MASK]為被掩蓋的單詞的標記，Pat(T,x)為數據增強模式，x是輸入句子，表示隱藏層向量，[CLS]和[SEP]分別表示開始和結束；

將隱藏層向量視為被掩蓋的單詞[MASK]的表示，將看作是根據模式Pat(T，x))生成的句子表示，其在語義上與輸入句子x是相似的，所有輸入樣本上重復公式(1)得到相應的數據增強結果。

3.如權利要求2所述的用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，通過損失函數對預訓練語言模型進行約束，用于削弱與輸入句子的語義不匹配的向量，最終獲得恰當的數據增強結果。

4.如權利要求3所述的用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，在不引入任何外部知識和標簽的情況下，將輸入句子x送入預訓練語言模型中，獲得其低維向量表示，將其表述為：

其中，隱藏層向量表示為整個句子x，通過以下損失函數：

用于縮小和之間的距離。

5.如權利要求4所述的用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，完成無監督的完型填空式數據增強之后，采用基于度量的原型網絡作為分類器來檢驗數據增強的效果。

6.如權利要求5所述的用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，首先計算出同一類別下的樣本的平均表示，并以此作為該類別的原型：

其中，c_i表示類別i的原型表示，K_i表示在當前元任務T下的支持數據集中類別i的樣本數量，為類別i中第k個句子的表示；通過這種原型表示，同一類別的樣本到其中心的平均距離最短；同樣地，基于通過原型計算公式(4)，得到增強的原型c′_i。

7.如權利要求6所述的用于小樣本意圖識別的完型填空式的數據增強方法，其特征是，為了使最終的原型更全面地覆蓋其類別的共同特征，對輸入樣本的原型和數據增強的結果原型進行了加權，公式如下：

其中，α是一個加權系數，以控制來自原始輸入數據和增強數據的相應貢獻；

給定一個分數函數s(·，·)，原型網絡通過計算查詢嵌入向量和原型之間的相似度的softmax分布來預測查詢實例的標簽公式如下所示：

其中，y是預測標簽，是當前元任務的查詢集中的查詢實例，j是真實標簽，表示基于j類別的初始和增強數據的最終原型，選擇余弦相似度作為s(·，·)；學習通過最小化負對數概率：

來進行。