[發明專利]一種小樣本場景下的自然語言理解方法

有效

• 申請號: 202110447496.7
• 申請日: 2021-04-25
• 公開（公告）號: CN113326360B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 趙鐵軍;朱聰慧;鄭德權;衣景龍;曹海龍;徐冰;楊沐昀
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/30
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 張宏威

1.一種小樣本場景下的自然語言理解方法，其特征在于，所述方法包括以下步驟：

步驟一：引入預訓練語言模型進行文本的表示，建立層與層間的注意力機制，通過對不同層的語義表示向量加權，生成最后的表示向量，并利用上下文消除歧義；

步驟二：對問題進行問句分析，所述問句分析包括意圖識別和槽位識別；

步驟三：引入標簽語義，使用線性空間映射方法拉遠語義表示距離；因為同一領域中，不同意圖的句子之間含有相同的詞，造成意圖與意圖之間以及槽與槽之間的嵌入向量在向量空間中距離近，所以采用一種線性空間映射方法拉遠語義表示距離，所述線性空間映射方法步驟為：

(1)計算每個類別的中心C_k：相同類別的句子嵌入表示向量取平均；

(2)隨機初始化一組彼此分離參考向量

(3)通過線性代數計算，得到一個映射線性零化矩陣M，使得對應類別的原型向量和參考向量能夠對齊靠近，同時不同之間又盡可能的拉遠，不同類別的意圖和詞在對齊映射后能夠分開；其中參考向量和映射矩陣M的計算公式如下所示：

M＝null_D([δ₁；...；δ_k]) (3)

其中，N_C為集合中參考向量的總數，為第k個參考向量減去所有非k參考向量的差向量，l∈(0，+∞)，0kNc，δ₁；...；δ_k為誤差變量；

當面臨一個新的領域的語料時，通過BERT預訓練語言模型提取樣例數據中的語義，用向量進行表示，并對不同意圖類別和槽類別的向量分別進行均值求解作為原型向量；

同時通過BERT預訓練語言模型提取意圖和槽的名稱，或意圖和槽的描述信息的語義，用向量進行表示，然后將訓練得到的參考向量與描述信息的語義向量加權相加，使得參考向量引入標簽名稱或者槽名稱的語義信息，然后通過求解線性偏差消除法的方法解出M，用M與原型向量相乘進行映射，便可以獲得不同的意圖和槽在向量空間中離得遠的特征表示；

步驟四：建立門控網絡，融合槽信息和意圖信息；在經過BERT預訓練語言模型的語義表征層后，獲得意圖和槽信息的輸入，然后經過一個Intent子網絡和一個Slot子網絡來迭代的融合意圖信息與槽信息；

在所述Intent子網絡中，通過一個重置門和更新門，將句子信息更新進詞信息里；

在所述Slot子網絡中，通過注意力的方式為詞信息分配注意力然后加到句子信息里；

將問句向量和詞向量迭代融合，并進行空間映射后，問句表示向量與意圖向量直接進行匹配度打分，選取最高分作為最終結果；詞級的表示向量經過匹配度打分后，再經過抽象CRF進行label轉移概率的打分，將二者相加后，輸出最后的概率分布；

所述匹配度打分為SIM函數取歐式距離的倒數或cos相似度；

步驟五：在不同領域進行展開，學習抽象的標簽轉移概率。

2.根據權利要求1所述方法，其特征在于，在步驟一中，

使用BERT預訓練語言模型，利用所述BERT預訓練語言模型執行神經語言程序學NLP任務；在BERT預訓練語言模型的編碼器層中，底層學習詞法信息，中層學習語法信息，上層學習語義信息，通過提取各個編碼器層向量并進行加權混合，來生成適配所述神經語言程序學NLP任務的語義向量；

利用上下文來消除歧義：將樣例數據和要判別的數據的句子拼接并表示，通過BERT預訓練語言模型來捕獲上下文信息，進而得到一個關于詞的不同的表示。

3.根據權利要求2所述方法，其特征在于，在步驟二中，

通過問句分析將輸入的文本轉換為結構化的語義表示，所示語義表示為slot-value形式；

所述意圖識別是在給定句子x的情況下判斷最佳意圖z，即處理標準的多分類問題；

所述槽位識別是在給定句子x中提取有用的信息，即序列標注問題。

4.根據權利要求3所述方法，其特征在于，在步驟五中：

經過層間注意力BERT的編碼已經得到槽信息的輸入表示，利用步驟三中的空間映射方法來拉遠槽類別的特征標識，并利用意圖信息來輔助槽信息的判斷；

因為序列標注任務需要標簽轉移概率來刻畫標簽間的依賴關系，并且不同領域的標簽集不同，所以利用CRF學習一個抽象狀態轉移矩陣，即表征大類的轉移概率，然后在具體的樣例數據上進行展開，來學習不同標簽之間的轉移概率：分別為一個標簽的開頭到相同標簽開頭的概率、一個標簽的開頭到不同標簽開頭的概率、一個標簽的開頭到相同標簽中間的概率以及一個標簽的開頭到不同標簽中間的概率；

最后在要判別的數據上將此轉移矩陣展開成對應的詞槽轉移矩陣，得到符合邏輯的標簽轉移矩陣。