[發明專利]測試集的生成方法、測試方法、裝置、設備及介質

在審

• 申請號: 202210018316.8
• 申請日: 2022-01-07
• 公開（公告）號: CN114548119A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 段紀丁;杜倩云;胡加學;李繁;趙敏志;黃志文
• 申請（專利權）人: 科大訊飛華南人工智能研究院（廣州）有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 朱彤妹

本申請提供了一種測試集的生成方法、測試方法、裝置、設備及介質。該生成方法包括：確定第一對話樣本中的語義識別正確的至少一個第一意圖；在流程圖中確定經過至少一個第一意圖的至少一個預設路徑，流程圖包括多個節點，多個節點中的每個節點對應一輪對話，且節點包括至少一個意圖，流程圖進一步包括各個節點和意圖之間的連接關系；基于至少一個預設路徑生成至少一個測試示例，至少一個測試示例用于構成測試集，至少一個測試示例中的每個測試示例包括測試示例對應的路徑信息。本申請的技術方案能夠有效地擴大語義識別正確的測試示例的數量。

技術領域

本申請涉及人工智能技術領域，具體涉及一種測試集的生成方法、測試方法、裝置、設備及介質。

背景技術

隨著人工智能技術在自然語言理解方面的發展，對話系統越來越多地被應用于各類場景，例如語音助手、智能音箱、對話機器人等。對話系統需要準確地理解用戶所表達的意圖，才能更好地與用戶交流、滿足用戶的需求以及提高用戶體驗。一般通過對對話系統進行測試，可以了解對話系統的語義識別效果。現有的測試方法成本太高。

發明內容

有鑒于此，本申請實施例提供了一種測試集的生成方法、測試方法、裝置、設備及介質，能夠有效地擴大語義識別正確的測試示例的數量。

第一方面，本申請一實施例提供一種測試集的生成方法，該測試集的生成方法包括：確定第一對話樣本中的語義識別正確的至少一個第一意圖；在流程圖中確定經過至少一個第一意圖的至少一個預設路徑，流程圖包括多個節點，多個節點中的每個節點對應一輪對話，且節點包括至少一個意圖，流程圖進一步包括各個節點和意圖之間的連接關系；基于至少一個預設路徑生成至少一個測試示例，至少一個測試示例用于構成測試集，至少一個測試示例中的每個測試示例包括測試示例對應的路徑信息。

結合第一方面，在第一方面的某些實現方式中，基于至少一個預設路徑生成至少一個測試示例，包括：在至少一個預設路徑中的每個預設路徑中確定位于至少一個第一意圖后且與至少一個第一意圖緊鄰的第二意圖；從第二對話樣本中確定對應第二意圖的語義識別正確的樣本文本內容；基于樣本文本內容以及第一對話樣本中與至少一個第一意圖對應的部分，生成預設路徑對應的測試示例。

結合第一方面，在第一方面的某些實現方式中，該生成方法還包括：將第一對話樣本中帶有意圖識別錯誤標記的一輪對話之前的至少一輪對話對應的意圖作為至少一個第一意圖。

結合第一方面，在第一方面的某些實現方式中，該方法還包括：隨機從第一對話樣本中的各輪對話中確定至少一輪對話對應的意圖作為至少一個第一意圖。

結合第一方面，在第一方面的某些實現方式中，至少一個第一意圖包括多個第一意圖。其中，該生成方法還包括：從第一對話樣本中選取連續的N輪對話對應的意圖作為多個第一意圖。其中，基于至少一個預設路徑生成至少一個測試示例，包括：確定與至少一個預設路徑中每個預設路徑對應的第二對話樣本；從第二對話樣本中確定對應多個第一意圖的語義識別正確的樣本文本內容；基于樣本文本內容以及N輪對話生成所述預設路徑對應的測試示例。

結合第一方面，在第一方面的某些實現方式中，基于樣本文本內容以及N輪對話生成預設路徑對應的測試示例，包括：確定N輪對話與樣本文本內容之間的相似度；在相似度大于或等于第一預設閾值時，將第二對話樣本中位于樣本文本內容之后的文本內容與N輪對話進行拼接以生成測試示例。

結合第一方面，在第一方面的某些實現方式中，確定N輪對話與樣本文本內容之間的相似度，包括：確定N輪對話對應的對話內容的第一結構化信息，并確定樣本文本內容的第二結構化信息；基于第一結構化信息與第二結構化信息確定相似度。

結合第一方面，在第一方面的某些實現方式中，確定N輪對話對應的對話內容的第一結構化信息，包括：確定N輪對話中每輪對話對應的對話內容的令牌(Token)標簽樹；基于N輪對話對應的N個Token標簽樹得到第一結構化信息。