[發明專利]語料識別方法、裝置、終端設備和介質

有效

• 申請號: 201911307187.9
• 申請日: 2019-12-18
• 公開（公告）號: CN111178055B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉志強;李前國;葉筠
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/951
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 左婷蘭

1.一種語料識別方法，其特征在于，包括：

獲取待識別的原始語料；

采用多個自然語言理解NLU引擎對所述原始語料進行識別，分別獲得與每個NLU引擎相對應的意圖類別，所述每個NLU引擎的每個意圖類別具有對應的意圖評分，所述意圖評分與所述每個NLU引擎識別對應意圖類別的樣本語料的準確率正相關；

根據所述每個NLU引擎的意圖類別，確定所述原始語料的意圖可信度，所述意圖可信度用于表征所述原始語料為有效語料或無效語料；

根據所述意圖可信度對所述原始語料進行識別；

對于識別出的無效語料，判斷所述無效語料對應的多個意圖類別是否均為空；若所述無效語料對應的多個意圖類別至少一個不為空，則根據所述意圖類別將所述無效語料劃分為多個語料類，并再次采用多個NLU引擎對每個語料類中的無效語料進行識別，若所述每個NLU引擎識別出的意圖類別保持不變，則將所述語料類中的無效語料識別為有效語料。

2.根據權利要求1所述的方法，其特征在于，所述采用多個自然語言理解NLU引擎對所述原始語料進行識別，分別獲得與每個NLU引擎相對應的意圖類別，包括：

調用多個NLU引擎的處理接口；

分別將所述原始語料輸入每個NLU引擎的處理接口，以指示所述每個NLU引擎對所述原始語料進行識別；

接收所述每個NLU引擎輸出的意圖類別。

3.根據權利要求1所述的方法，其特征在于，所述根據所述每個NLU引擎的意圖類別，確定所述原始語料的意圖可信度，包括：

確定所述每個NLU引擎的意圖類別對應的意圖評分，所述每個意圖類別對應的意圖評分通過采用所述每個NLU引擎對樣本語料進行測試獲得；

根據所述每個意圖類別及其對應的意圖評分，計算所述原始語料的意圖可信度。

4.根據權利要求3所述的方法，其特征在于，所述根據所述每個意圖類別及其對應的意圖評分，計算所述原始語料的意圖可信度，包括：

確定所述每個意圖類別的權重值；

采用所述權重值，對所述每個意圖類別對應的意圖評分進行加權求和，獲得所述原始語料的意圖可信度。

5.根據權利要求1所述的方法，其特征在于，所述根據所述意圖可信度對所述原始語料進行識別，包括：

若所述意圖可信度大于或等于預設的可信度閾值，則將所述原始語料識別為有效語料；

若所述意圖可信度小于所述可信度閾值，則將所述原始語料識別為無效語料。

6.根據權利要求5所述的方法，其特征在于，還包括：

若所述無效語料對應的多個意圖類別均為空，則刪除所述無效語料。

7.根據權利要求5或6所述的方法，其特征在于，在將所述原始語料識別為有效語料之后，還包括：

獲取所述有效語料的初始類別；

將所述有效語料、所述有效語料的初始類別以及所述每個NLU引擎識別出的意圖類別關聯存儲至語料庫。

8.根據權利要求7所述的方法，其特征在于，還包括：

根據已存儲的多個有效語料的初始類別和意圖類別，將所述多個有效語料劃分為多個識別類；

統計每個識別類包含的有效語料的數量；

根據所述每個識別類包含的有效語料的數量，生成所述語料庫的白名單。

9.根據權利要求8所述的方法，其特征在于，所述根據已存儲的多個有效語料的初始類別和意圖類別，將所述多個有效語料劃分為多個識別類，包括：

將對應的初始類別和意圖類別均相同的有效語料劃分為同一識別類。

10.根據權利要求8所述的方法，其特征在于，所述根據所述每個識別類包含的有效語料的數量，生成所述語料庫的白名單，包括：

根據所述每個識別類包含的有效語料的數量，對所述每個識別類進行排序；

提取處于預設排序區間內的識別類，作為所述語料庫的白名單。