[發明專利]一種人工智能應答系統測試方法及系統

有效

• 申請號: 201510346495.8
• 申請日: 2015-06-19
• 公開（公告）號: CN105095069B
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 孫勝方;王昌
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京邦信陽專利商標代理有限公司 11012
• 代理人: 金璽

本發明公開一種人工智能應答系統測試方法及系統，包括：獲取包括至少一個問題以及與每個問題關聯的多個輪播答案；獲取測試用例，選擇與所述測試用例關聯的問題作為測試問題并輸出；獲取人工智能應答系統對所述測試問題的話術作為測試話術，如果所述測試話術與其中一個所述測試問題關聯的輪播答案匹配，則判斷該測試用例測試通過。本發明通過獲取一個問題及與該問題相關的多個輪播答案，并在測試人工智能應答系統時，將測試話術與多個輪播答案進行匹配，以實現對話術輪播場景下進行測試。

技術領域

本發明涉及人工智能相關技術領域，特別是一種人工智能應答系統測試方法及系統。

背景技術

在人工智能領域，目前涌現出了很多優秀的產品，這些產品都是基于自然語言處理的自動人工智能應答系統，對于此類系統目前有一些開源的自動化測試框架，為了解決基于自然語言處理的自動人工智能應答系統的自動化測試問題，引入了selenium框架+python的自動化解決方案，可以實現在web端對于系統提問輸入和回答輸出判斷的自動化測試，由于大部分自動應答系統對于唯一的輸入有唯一的答案，因此可以直接用結果匹配的方式判斷測試執行的結果。

現有的自動化技術有基于selenium框架來實現web的自動化測試，在web頁面的輸入框輸入問題，并抓取輸入框的返回結果，將問題和結果保存到文件中，再進行結果判斷，再執行下一條問題。

由于智能應答系統的問題和答案的數據非常大，因此將測試腳本和測試數據分離，測試數據以一定的結構保存在表格中便于讀取和控制保存形式以行為單位進行分割，一行數據是一個會話。不同列數據代表不同的會話信息，每一行包含如下的內容：

表1現有技術的問題和答案保存方法

問題	場景標識	測試賬號	預測答案

然而，對于高頻問題，有可能出現多個答案，即出現話術輪播場景。然而現有的自動化測試流程和測試數據保存方式無法滿足話術輪播場景下的結果判斷。

發明內容

基于此，有必要針對現有技術的自動化測試流程和測試數據保存方式無法滿足話術輪播場景下的結果判斷的技術問題，提供一種人工智能應答系統測試方法及系統。

一種人工智能應答系統測試方法，包括：

測試數據獲取步驟，包括：獲取包括至少一個問題以及與每個問題關聯的多個輪播答案；

測試用例獲取步驟，包括：獲取測試用例，選擇與所述測試用例關聯的問題作為測試問題并輸出；

比較步驟，包括：獲取人工智能應答系統對所述測試問題的話術作為測試話術，如果所述測試話術與其中一個所述測試問題關聯的輪播答案匹配，則判斷該測試用例測試通過。

一種人工智能應答系統測試系統，包括：

測試數據獲取模塊，用于：獲取包括至少一個問題以及與每個問題關聯的多個輪播答案；