[發明專利]一種自適應意圖識別方法、裝置及電子設備

在審

• 申請號: 202011201728.2
• 申請日: 2020-11-02
• 公開（公告）號: CN112257432A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張常睿;李蒙
• 申請（專利權）人: 北京淇瑀信息科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G10L15/26
• 代理公司: 北京清誠知識產權代理有限公司 11691
• 代理人: 喬東峰

1.一種自適應意圖識別方法，其特征在于，所述方法包括：

創建基于變換器的雙向編碼表征BERT模型，其中，所述BERT模型包括N層特征編碼器，且每層特征編碼器分別連接一個分類器；

將待識別文本輸入所述BERT模型進行第i層意圖識別；

若所述第i層意圖識別結果不滿足意圖識別要求，對所述第i層意圖識別結果進行第i+1層意圖識別，直至當前層意圖識別結果滿足意圖識別要求，將所述當前層意圖識別結果作為所述待識別文本的意圖輸出，并刪除所述待識別文本；

其中，i=1、2、…N，所述第i層意圖識別包括：

將所述待識別文本依次輸入第i層特征編碼器以及與所述第i特征編碼器連接的第i分類器，得到所述第i層意圖識別結果；

判斷所述第i層意圖識別結果是否滿足意圖識別要求。

2.根據權利要求1所述的方法，其特征在于，所述判斷所述第i層意圖識別結果是否滿足意圖識別要求包括：

計算所述第i層意圖識別結果的信息熵；

若所述第i層識別結果的信息熵小于預設值，確定所述第i層意圖識別結果是否滿足意圖識別要求。

3.根據權利要求2所述的方法，其特征在于，所述第i層意圖識別結果的信息熵S為：

；

其中，總共有M類意圖，P_j為所述第i層意圖識別結果為第j類意圖的概率。

4.根據權利要求2所述的方法，其特征在于，所述創建基于變換器的雙向編碼表征BERT模型包括：

采集用戶歷史語料和對應的意圖數據作為意圖訓練集；

通過所述意圖訓練集對所述N層特征編碼器和各個層的分類器進行微調，得到能夠識別意圖的BERT模型。

5.根據權利要求2所述的方法，其特征在于，所述創建基于變換器的雙向編碼表征BERT模型包括：

采集用戶歷史語料和對應的意圖數據作為意圖訓練集；

通過所述意圖訓練集對所述N層特征編碼器進行微調并固定所述N層特征編碼器的參數，得到能夠識別意圖的N層特征編碼器；

將測試集依次輸入所述能夠識別意圖的N層特征編碼器，得到意圖排列序列P_T；

將所述測試集分別輸入各個分類器中，得到意圖概率序列P_Sr；

優化第r分類器使得第r分類器的P_Sr與P_T之間的差別小于閾值。

6.根據權利要求1所述的方法，其特征在于，所述將待識別文本輸入所述BERT模型進行第i層意圖識別之前，所述方法還包括：

采集用戶音頻數據；

將所述用戶音頻數據轉換為文本數據；

將所述文本數據轉換為詞向量；

將所述詞向量作為待識別文本。

7.一種自適應意圖識別裝置，其特征在于，所述裝置包括：

創建模塊，用于創建基于變換器的雙向編碼表征BERT模型，其中，所述BERT模型包括N層特征編碼器，且每層特征編碼器分別連接一個分類器；

識別模塊，用于將待識別文本輸入所述BERT模型進行第i層意圖識別；

輸出模塊，用于若所述第i層意圖識別結果不滿足意圖識別要求，對所述第i層意圖識別結果進行第i+1層意圖識別，直至當前層意圖識別結果滿足意圖識別要求，將所述當前層意圖識別結果作為所述待識別文本的意圖輸出，并刪除所述待識別文本；

其中，i=1、2、…N，所述識別模塊包括：

子識別模塊，用于將所述待識別文本依次輸入第i層特征編碼器以及與所述第i特征編碼器連接的第i分類器，得到所述第i層意圖識別結果；

判斷模塊，判斷所述第i層意圖識別結果是否滿足意圖識別要求。

8.一種電子設備，包括：

處理器；以及

存儲計算機可執行指令的存儲器，所述計算機可執行指令在被執行時使所述處理器執行根據權利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質，其中，所述計算機可讀存儲介質存儲一個或多個程序，當所述一個或多個程序被處理器執行時，實現權利要求1-6中任一項所述的方法。