[發(fā)明專利]一種人機對話系統(tǒng)的測試方法及裝置

有效

• 申請?zhí)枺?/td>: 202011155117.9
• 申請日: 2020-10-26
• 公開（公告）號: CN112417109B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設計）人: 張瀚;雷欣;李志飛
• 申請（專利權）人: 問問智能信息科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 北京樂知新創(chuàng)知識產(chǎn)權代理事務所(普通合伙) 11734
• 代理人: 王曌寅

本發(fā)明公開一種人機對話系統(tǒng)的測試方法及裝置，包括：將語音指令組至少2次輸入到標準系統(tǒng)中，以獲得標準返回結果；所述語音指令組中包括至少2個語音指令；利用所述標準返回結果，確定所述語音指令組對應的關鍵信息組；將所述語音指令組輸入到待測系統(tǒng)中，以獲得待測返回結果；根據(jù)所述關鍵信息組和所述待測返回結果，確定所述待測系統(tǒng)的測試結果。通過將語音指令組多次輸入到標準系統(tǒng)中獲得標準返回結果，利用所述標準返回結果，確定關鍵信息組，以實現(xiàn)對于多輪對話中語境的識別，進而利用關鍵信息組和待測返回結果確定待測系統(tǒng)的測試結果，實現(xiàn)了人機對話系統(tǒng)中針對多輪對話的測試。

技術領域

本發(fā)明涉及計算機技術領域，尤其涉及一種人機對話系統(tǒng)的測試方法及裝置。

背景技術

人機對話系統(tǒng)，已經(jīng)常見于各類智能終端。利用人機對話系統(tǒng)，用戶可以通過語音交互的方式對智能終端進行控制，得到所需要的反饋。而為了確保人機對話系統(tǒng)的準確性，通常在該系統(tǒng)版本迭代升級之后，還需要重新對其進行測試和校驗；以避免迭代升級對該系統(tǒng)固有的性能產(chǎn)生負面影響。

現(xiàn)有的測試方式，可以分別向舊版本和新版本的人機對話系統(tǒng)重放大量的歷史語音指令，并對比二者的返回結果，從而實現(xiàn)測試。但是在多輪對話中，語音指令的含義需聯(lián)系上下文確認，所以同樣內(nèi)容的語音指令可能代表不同含義，需要對應不同的返回結果。因此，上述測試方式的缺陷在于，無法針對多輪對話進行測試。

發(fā)明內(nèi)容

本發(fā)明提供一種人機對話系統(tǒng)的測試方法及裝置，以至少解決現(xiàn)有技術中存在的以上技術問題。

第一方面，本發(fā)明提供一種人機對話系統(tǒng)的測試方法，包括：

將語音指令組至少2次輸入到標準系統(tǒng)中，以獲得標準返回結果；所述語音指令組中包括至少2個語音指令；

利用所述標準返回結果，確定所述語音指令組對應的關鍵信息組；

將所述語音指令組輸入到待測系統(tǒng)中，以獲得待測返回結果；

根據(jù)所述關鍵信息組和所述待測返回結果，確定所述待測系統(tǒng)的測試結果。

優(yōu)選地，所述將所述語音指令組至少2次輸入到標準系統(tǒng)中，以獲得標準返回結果包括：

分別獲得各所述語音指令在各次輸入所述標準系統(tǒng)時，對應的單次標準值；

根據(jù)各所述單次標準值，確定所述標準返回結果。

優(yōu)選地，所述利用所述標準返回結果，確定所述語音指令組對應的關鍵信息組包括：

將所述標準返回結果中，同一語音指令對應的各單次標準值，確定為所述語音指令對應的對照值組；

根據(jù)所述對照值組，確定所述語音指令對應的關鍵項；

根據(jù)各所述語音指令對應的關鍵項，確定所述關鍵信息組。

優(yōu)選地，所述根據(jù)所述對照值組，確定所述語音指令對應的關鍵項包括：

確定所述對照值組中各所述單次標準值的相同數(shù)據(jù)項，將所述相同數(shù)據(jù)項確定為所述語音指令對應的關鍵項。

優(yōu)選地，所述將所述語音指令組輸入到待測系統(tǒng)中，以獲得待測返回結果包括：

分別獲得各所述語音指令在輸入所述待測系統(tǒng)時，對應的單次測試值；

根據(jù)各所述單次測試值，確定所述待測返回結果。

優(yōu)選地，所述根據(jù)所述關鍵信息組和所述待測返回結果，確定所述待測系統(tǒng)的測試結果包括：

當任一所述語音指令對應的單次測試值中，不包括所述語音指令對應的關鍵項，則將所述待測系統(tǒng)的測試結果確定為不合格。

優(yōu)選地，還包括：