[發明專利]測試集的生成方法、測試方法、裝置、設備及介質

在審

• 申請號: 202210018316.8
• 申請日: 2022-01-07
• 公開（公告）號: CN114548119A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 段紀丁;杜倩云;胡加學;李繁;趙敏志;黃志文
• 申請（專利權）人: 科大訊飛華南人工智能研究院（廣州）有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 朱彤妹

1.一種測試集的生成方法，其特征在于，包括：

確定第一對話樣本中的語義識別正確的至少一個第一意圖；

在流程圖中確定經過所述至少一個第一意圖的至少一個預設路徑，所述流程圖包括多個節點，所述多個節點中的每個節點對應一輪對話，且所述節點包括至少一個意圖，所述流程圖進一步包括各個節點和意圖之間的連接關系；

基于所述至少一個預設路徑生成至少一個測試示例，所述至少一個測試示例用于構成測試集，所述至少一個測試示例中的每個測試示例包括所述測試示例對應的路徑信息。

2.根據權利要求1所述的測試集的生成方法，其特征在于，所述基于所述至少一個預設路徑生成至少一個測試示例，包括：

在所述至少一個預設路徑中的每個預設路徑中確定位于所述至少一個第一意圖后且與所述至少一個第一意圖緊鄰的第二意圖；

從第二對話樣本中確定對應所述第二意圖的語義識別正確的樣本文本內容；

基于所述樣本文本內容以及所述第一對話樣本中與所述至少一個第一意圖對應的部分，生成所述預設路徑對應的測試示例。

3.根據權利要求1所述的測試集的生成方法，其特征在于，還包括：

將所述第一對話樣本中帶有意圖識別錯誤標記的一輪對話之前的至少一輪對話對應的意圖作為所述至少一個第一意圖。

4.根據權利要求1所述的測試集的生成方法，其特征在于，還包括：

隨機從所述第一對話樣本中的各輪對話中確定至少一輪對話對應的意圖作為所述至少一個第一意圖。

5.根據權利要求1所述的測試集的生成方法，其特征在于，所述至少一個第一意圖包括多個第一意圖，其中，所述方法還包括：

從所述第一對話樣本中選取連續的N輪對話對應的意圖作為所述多個第一意圖，

其中，所述基于所述至少一個預設路徑生成至少一個測試示例，包括：

確定與所述至少一個預設路徑中每個預設路徑對應的第二對話樣本；

從所述第二對話樣本中確定對應所述多個第一意圖的語義識別正確的樣本文本內容；

基于所述樣本文本內容以及所述N輪對話生成所述預設路徑對應的測試示例。

6.根據權利要求5所述的測試集的生成方法，其特征在于，所述基于所述樣本文本內容以及所述N輪對話生成所述預設路徑對應的測試示例，包括：

確定所述N輪對話與所述樣本文本內容之間的相似度；

在所述相似度大于或等于第一預設閾值時，將所述第二對話樣本中位于所述樣本文本內容之后的文本內容與所述N輪對話進行拼接以生成所述測試示例。

7.根據權利要求6所述的測試集的生成方法，其特征在于，所述確定所述N輪對話與所述樣本文本內容之間的相似度，包括：

確定所述N輪對話對應的對話內容的第一結構化信息，并確定所述樣本文本內容的第二結構化信息；

基于所述第一結構化信息與所述第二結構化信息確定所述相似度。

8.根據權利要求7所述的測試集的生成方法，其特征在于，所述確定所述N輪對話對應的對話內容的第一結構化信息，包括：

確定所述N輪對話中每輪對話對應的對話內容的令牌標簽樹；

基于所述N輪對話對應的N個令牌標簽樹得到所述第一結構化信息。

9.一種測試方法，其特征在于，包括：

從測試集獲取測試示例，所述測試示例包括至少一輪對話和對應的路徑信息，所述路徑信息用于指示所述至少一輪對話在流程圖中的意圖跳轉路徑，所述流程圖包括多個節點，所述多個節點中的每個節點對應一輪對話，且所述節點包括至少一個意圖，所述流程圖進一步包括各個節點和意圖之間的連接關系；

基于所述路徑信息利用所述至少一輪對話對語義理解系統進行測試，以得到測試結果。