[發(fā)明專利]智能問答系統(tǒng)的測試方法和裝置

在審

• 申請?zhí)枺?/td>: 201610262786.3
• 申請日: 2016-04-25
• 公開（公告）號: CN107305579A
• 公開（公告）日: 2017-10-31
• 發(fā)明（設(shè)計）人: 范亞平;王昌;姜紹華
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，具體涉及自動化測試技術(shù)領(lǐng)域，尤其涉及智能問答系統(tǒng)的測試方法和裝置。

背景技術(shù)

對于智能問答系統(tǒng)的自動化測試，其中的一個測試重點是判斷輸入問題是否能得到對應(yīng)的期望答案。目前，現(xiàn)有通常采用如下技術(shù)方案來對智能問答系統(tǒng)進行測試：獲取第一個輸入問題在頁面中所對應(yīng)的界面元素；獲取該界面元素的下一個界面元素所顯示的內(nèi)容，作為第一個輸入問題的輸出答案；獲取該輸出答案對應(yīng)的界面元素之后的第二個界面元素所顯示的內(nèi)容，作為第二個輸入問題的輸出答案，以此類推，得到各個輸入問題的輸出答案；通過將各個輸出答案分別與預存的與對應(yīng)的輸入問題對應(yīng)的期望答案進行匹配來確定是否測試通過。

然而，上述方案只能針對一問一答的應(yīng)用場景進行測試，對于一個問題返回多個答案的應(yīng)用場景，現(xiàn)有技術(shù)不能獲取一個輸入問題的多個輸出答案，從而難以正確地進行判斷，難以得到正確的測試結(jié)果。

發(fā)明內(nèi)容

本申請的目的在于提出一種智能問答系統(tǒng)的測試方法和裝置，來解決以上背景技術(shù)部分提到的技術(shù)問題。

第一方面，本申請?zhí)峁┝艘环N智能問答系統(tǒng)的測試方法，所述方法包括：通過智能問答系統(tǒng)執(zhí)行測試用例，所述測試用例包括輸入問題；獲取執(zhí)行結(jié)果界面中的顯示所述輸入問題的界面元素；按照界面元素的在所述執(zhí)行結(jié)果界面中的位置，依次獲取所述顯示所述輸入問題的界面元素之后的每一個界面元素所顯示的文本作為答案，加入答 案集合中，直到下一界面元素所顯示的文本為空；通過將所述答案集合中的答案與預存的與所述輸入問題關(guān)聯(lián)的期望答案進行匹配，確定所述用例是否測試通過。

在一些實施例中，所述通過將所述答案集合中的答案與預存的與所述輸入問題關(guān)聯(lián)的期望答案進行匹配，確定所述用例是否測試通過，包括：確定所述答案集合中是否存在與所述期望答案匹配的答案；如果存在，則確定測試通過，否則確定測試不通過。

在一些實施例中，所述確定所述答案集合中是否存在與所述期望答案匹配的答案，包括：逐一將答案集合中的答案與所述期望答案進行匹配；如果得到匹配成功的答案，則停止進行匹配，并確定所述答案集合中存在與所述期望答案匹配的答案。

在一些實施例中，在確定所述智能問答系統(tǒng)是否測試通過之后，所述方法還包括：如果測試通過，則在預存的測試結(jié)果信息集合中新增一條測試結(jié)果信息，所述測試結(jié)果信息包括以下信息：所述輸入問題、所述期望答案和所述答案集合中與所述期望答案匹配成功的答案。

在一些實施例中，在確定所述智能問答系統(tǒng)是否測試通過之后，所述方法還包括：如果測試不通過，則在預存的測試結(jié)果信息集合中新增一條測試結(jié)果信息，所述測試結(jié)果信息包括以下信息：所述輸入問題、所述期望答案和所述答案集合中的各個答案。

第二方面，本申請?zhí)峁┝艘环N智能問答系統(tǒng)的測試裝置，所述裝置包括：用例執(zhí)行單元，用于通過智能問答系統(tǒng)執(zhí)行測試用例，所述測試用例包括輸入問題；界面元素獲取單元，用于獲取執(zhí)行結(jié)果界面中的顯示所述輸入問題的界面元素；答案獲取單元，用于按照界面元素的在所述執(zhí)行結(jié)果界面中的位置，依次獲取所述顯示所述輸入問題的界面元素之后的每一個界面元素所顯示的文本作為答案，加入答案集合中，直到下一界面元素所顯示的文本為空；確定單元，用于通過將所述答案集合中的答案與預存的與所述輸入問題關(guān)聯(lián)的期望答案進行匹配，所述用例是否測試通過。

在一些實施例中，所述確定單元包括：第一確定子單元，用于確定所述答案集合中是否存在與所述期望答案匹配的答案；第二確定子 單元，用于，用于在所述第一確定子單元確定所述答案集合中存在與所述期望答案匹配的答案時確定測試通過，在所述第一確定子單元確定所述答案集合中不存在與所述期望答案匹配的答案時確定測試不通過。

在一些實施例中，所述第一確定子單元包括：匹配模塊，用于逐一將答案集合中的答案與所述期望答案進行匹配；確定模塊，用于在所述匹配模塊得到匹配成功的答案時，停止進行匹配，并確定所述答案集合中存在與所述期望答案匹配的答案。

在一些實施例中，所述裝置還包括：成功結(jié)果生成單元，用于在所述確定單元確定所述智能問答系統(tǒng)測試通過之后，在預存的測試結(jié)果信息集合中新增一條測試結(jié)果信息，所述測試結(jié)果信息包括以下信息：所述輸入問題、所述期望答案和所述答案集合中與所述期望答案匹配成功的答案。