[發明專利]意圖識別方法、裝置、設備和介質

在審

• 申請號: 202010152083.1
• 申請日: 2020-03-06
• 公開（公告）號: CN113360751A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 余曉峰;韓友;鄭立濤
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F40/295;G06F40/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種意圖識別方法，其特征在于，包括：

針對每個預訓練樣本中的每個字和至少一個第一匹配關鍵詞，按照預設概率進行遮蔽，其中，所述第一匹配關鍵詞是預訓練樣本中與預先建立的知識圖譜中的實體相匹配的詞語，所述知識圖譜中包括每種意圖類別相關的實體；

基于所述遮蔽后的每個預訓練樣本，對預先搭建的語言模型進行預訓練；

對所述預訓練后的語言模型進行微調，得到目標語言模型，以基于所述目標語言模型進行意圖識別。

2.根據權利要求1所述的方法，其特征在于，在所述針對每個預訓練樣本中的每個字和至少一個第一匹配關鍵詞，按照預設概率進行遮蔽之前，所述方法還包括：

對每個預訓練樣本進行分詞，得到分詞結果；

分別將每個預訓練樣本的分詞結果與所述知識圖譜中的實體進行匹配，得到每個預訓練樣本中的所述至少一個第一匹配關鍵詞。

3.根據權利要求1所述的方法，其特征在于，所述對所述預訓練后的語言模型進行微調，包括：

獲取每個微調訓練樣本中與所述知識圖譜中的實體相匹配的至少一個第二匹配關鍵詞；

分別將所述每個微調訓練樣本及所述至少一個第二匹配關鍵詞作為輸入，將所述每個微調訓練樣本的意圖標注信息作為輸出，對所述預訓練后的語言模型進行微調。

4.根據權利要求3所述的方法，其特征在于，所述預訓練后的語言模型對輸入的所述每個微調訓練樣本及所述至少一個第二匹配關鍵詞的處理方式至少包括：

從所述每個微調訓練樣本中提取上下文表征序列；

對所述每個微調訓練樣本中的所述至少一個第二匹配關鍵詞進行詞嵌入，得到第二匹配關鍵詞序列；

連接所述上下文表征序列與所述第二匹配關鍵詞序列。

5.根據權利要求1所述的方法，其特征在于，在所述對所述預訓練后的語言模型進行微調之前，所述方法還包括：

對用于對所述預訓練后的語言模型進行微調的微調訓練樣本進行數據增強；

其中，數據增強的方式至少包括：同義詞替換、隨機刪除關鍵詞、隨機選擇兩個關鍵詞互換位置、生成微調訓練樣本的意譯文本或回譯文本。

6.一種意圖識別裝置，其特征在于，包括：

遮蔽模塊，用于針對每個預訓練樣本中的每個字和至少一個第一匹配關鍵詞，按照預設概率進行遮蔽，其中，所述第一匹配關鍵詞是預訓練樣本中與預先建立的知識圖譜中的實體相匹配的詞語，所述知識圖譜中包括每種意圖類別相關的實體；

預訓練模塊，用于基于所述遮蔽后的每個預訓練樣本，對預先搭建的語言模型進行預訓練；

微調模塊，用于對所述預訓練后的語言模型進行微調，得到目標語言模型，以基于所述目標語言模型進行意圖識別。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

匹配關鍵詞獲取模塊，用于在所述遮蔽模塊針對每個預訓練樣本中的每個字和至少一個第一匹配關鍵詞，按照預設概率進行遮蔽之前，執行如下操作：

對每個預訓練樣本進行分詞，得到分詞結果；

分別將每個預訓練樣本的分詞結果與所述知識圖譜中的實體進行匹配，得到每個預訓練樣本中的所述至少一個第一匹配關鍵詞。

8.根據權利要求6所述的裝置，其特征在于，所述微調模塊包括：

匹配關鍵詞獲取單元，用于獲取每個微調訓練樣本中與所述知識圖譜中的實體相匹配的至少一個第二匹配關鍵詞；

微調單元，用于分別將所述每個微調訓練樣本及所述至少一個第二匹配關鍵詞作為輸入，將所述每個微調訓練樣本的意圖標注信息作為輸出，對所述預訓練后的語言模型進行微調。