[發(fā)明專利]一種智能問答的測試方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811083158.4
• 申請日: 2018-09-17
• 公開（公告）號: CN110909133B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 左新成;勵善俊
• 申請（專利權(quán)）人: 上海智臻智能網(wǎng)絡(luò)科技股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 連鵬飛

1.一種智能問答的測試方法，其特征在于，所述方法包括：

預設(shè)測試數(shù)據(jù)，所述測試數(shù)據(jù)包括測試問句和期望結(jié)果；

將每個測試問句發(fā)送至智能問答系統(tǒng)以進行所述智能問答系統(tǒng)的反饋正確性檢測，得到反饋結(jié)果；

將所述反饋結(jié)果與所述期望結(jié)果進行匹配分析，得到所述測試問句的測試結(jié)果；

基于每個測試問句的測試結(jié)果統(tǒng)計所述測試數(shù)據(jù)的正確率，當所述正確率小于預設(shè)正確率時，根據(jù)所述測試結(jié)果調(diào)整所述智能問答系統(tǒng)；

所述智能問答系統(tǒng)包括前端知識庫，所述前端知識庫為本地數(shù)據(jù)庫，所述反饋正確性檢測包括：

基于所述測試問句，查詢所述前端知識庫中是否有預設(shè)結(jié)果；

當在所述前端知識庫中查詢到所述預設(shè)結(jié)果時，確定所述反饋結(jié)果包括所述預設(shè)結(jié)果及用于表征所述預設(shè)結(jié)果來自所述前端知識庫的前端類型標識；

所述期望結(jié)果包括：與所述測試問句對應(yīng)的預存前端標識；所述匹配分析包括：判斷所述預存前端標識與所述前端類型標識是否相同，當相同時，則所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋正確；否則，所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋錯誤。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述智能問答系統(tǒng)還包括問答知識庫；

若未在所述前端知識庫中查詢到預設(shè)結(jié)果，所述反饋正確性檢測還包括：

基于所述測試問句，查詢所述問答知識庫中是否有預設(shè)結(jié)果；

當在所述問答知識庫中查詢到所述預設(shè)結(jié)果時，確定所述反饋結(jié)果包括該預設(shè)結(jié)果，而且，所述期望結(jié)果包括：與所述測試問句對應(yīng)的預存結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述預設(shè)結(jié)果包括以下一種或多種：標準問答句、至少兩種標準問句、操作指令，其中，所述標準問答句包括：相互對應(yīng)的標準問句及標準結(jié)果；

當所述預設(shè)結(jié)果為所述標準問答句時，所述匹配分析包括：判斷所述標準問答句是否與所述預存結(jié)果中的標準問答句相同，若是，則所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋正確；否則，所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋錯誤；

當所述預設(shè)結(jié)果為至少兩種標準問句時，所述匹配分析包括：判斷所述至少兩種標準問句是否包括所述預存結(jié)果中測試問句表征的預存標準問句，若是，則所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋正確；否則，所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋錯誤；

當所述預設(shè)結(jié)果為操作指令時，所述匹配分析包括：判斷所述預設(shè)結(jié)果是否是所述預存結(jié)果中操作指令的響應(yīng)結(jié)果，若是，則所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋正確；否則，所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋錯誤。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述智能問答系統(tǒng)還包括聊天知識庫，所述聊天數(shù)據(jù)庫為網(wǎng)絡(luò)數(shù)據(jù)庫；

若未在所述問答知識庫中查詢到預設(shè)結(jié)果，所述反饋正確性檢測還包括：

基于所述測試問句，查詢所述聊天知識庫中是否有預設(shè)結(jié)果；

當在所述聊天知識庫中查詢到所述預設(shè)結(jié)果時，確定所述反饋結(jié)果包括該預設(shè)結(jié)果及用于表征所述預設(shè)結(jié)果來自所述聊天知識庫的聊天類型標識；

而且，所述期望結(jié)果包括：與所述測試問句對應(yīng)的預存聊天類型標識；

所述匹配分析包括：判斷所述預存聊天類型 標識是否與所述聊天類型標識相同，若是，則所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋正確；否則，所述測試結(jié)果表征為所述智能問答系統(tǒng)響應(yīng)所述測試問句的反饋錯誤。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于每個測試問句的測試結(jié)果統(tǒng)計所述測試數(shù)據(jù)的正確率，包括：

對已被所述智能問答系統(tǒng)正確反饋的所述測試問句的數(shù)量、及所發(fā)送的測試問句的總數(shù)量進行統(tǒng)計；

基于已被所述智能問答系統(tǒng)正確反饋的所述測試問句的數(shù)量、及所發(fā)送的測試問句的總數(shù)量，確定所述測試數(shù)據(jù)的正確率。