[發(fā)明專利]用于全雙工語音交互系統(tǒng)的測試方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010432769.6
• 申請日: 2020-05-20
• 公開（公告）號: CN113707128B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設計）人: 石韡斯;樊帥;宋洪博
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L15/01
• 分類號: G10L15/01
• 代理公司: 北京商專永信知識產(chǎn)權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發(fā)明實施例提供一種用于全雙工語音交互系統(tǒng)的測試方法。該方法包括：將和測試場景相關的有效語料集與和測試場景無關的無效語料集混合，確定場景混合語料集；向搭載全雙工語音交互系統(tǒng)的待測試語音交互設備播放場景混合語料集內各個語料音頻；獲取待測試語音交互設備的工作日志，工作日志至少包括第一日志和第二日志；通過統(tǒng)計第二日志中預期不應輸出響應決策結果而實際收到響應決策結果的日志條數(shù)，得到誤響應次數(shù)，基于誤響應次數(shù)與播放的語料音頻的總數(shù)，確定誤響應率。本發(fā)明實施例還提供一種用于全雙工語音交互系統(tǒng)的測試系統(tǒng)。本發(fā)明實施例實現(xiàn)了全雙工語音交互系統(tǒng)的端到端的測試，準確得出針對于全雙工獨有特性的指標。

技術領域

本發(fā)明涉及智能語音領域，尤其涉及一種用于全雙工語音交互系統(tǒng)的測試方法及系統(tǒng)。

背景技術

為了測試語音交互系統(tǒng)的性能，可以對語音交互鏈路上各個模塊進行獨立測試。例如，通過喚醒/信號處理模塊，測試喚醒率、喚醒時間、功耗等；通過語音識別模塊，測試句錯率、字錯率；通過語義理解模塊，測試準確率、召回率、解析準確率；基于多人主觀評價對語音合成模塊打分。現(xiàn)有絕大部分的語音交互系統(tǒng)使用半雙工交互。在半雙工交互中，各個模塊之間有絕對有序的依賴關系，整個系統(tǒng)通過串行調用各個模塊即可完成交互。在這種情況下，按模塊獨立測試是能滿足要求的。

在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)相關技術中至少存在如下問題：

由于模塊獨立測試，測試指標各異，缺乏對整體語音交互系統(tǒng)的測試方法和評價指標。在全雙工系統(tǒng)等多個模塊融合決策的復雜系統(tǒng)中，各模塊的指標已不能滿足評價的需求。例如，對于半雙工對話來說，用戶每說一句話，半雙工語音交互系統(tǒng)都是會進行響應的。而全雙工語音交互系統(tǒng)只有有效的請求才會響應。

發(fā)明內容

為了至少解決現(xiàn)有技術中缺乏對整體語音交互系統(tǒng)的測試方法和評價指標，無法針對全雙工語音交互系統(tǒng)進行合理有效測試的問題。

第一方面，本發(fā)明實施例提供一種用于全雙工語音交互系統(tǒng)的測試方法，包括：

將和測試場景相關的有效語料集與和測試場景無關的無效語料集混合，確定場景混合語料集；

向搭載所述全雙工語音交互系統(tǒng)的待測試語音交互設備播放所述場景混合語料集內各個語料音頻；

獲取所述待測試語音交互設備的工作日志，所述工作日志至少包括第一日志和第二日志，其中，

-所述第一日志記錄有針對各個語料音頻所識別的有效/無效屬性以及對應的語料文本，

-所述第二日志記錄有針對有各個語料音頻的決策結果，所述決策包括響應和丟棄；

基于所述第一日志中的無效語料音頻的數(shù)量、所述第二日志中的丟棄結果數(shù)量確定拒識率；

通過統(tǒng)計所述第二日志中預期不應輸出響應決策結果而實際收到響應決策結果的日志條數(shù)，得到誤響應次數(shù)，基于所述誤響應次數(shù)與播放的語料音頻的總數(shù)，確定誤響應率。

第二方面，本發(fā)明實施例提供一種用于全雙工語音交互系統(tǒng)的測試系統(tǒng)，包括：

語料集確定程序模塊，用于將和測試場景相關的有效語料集與和測試場景無關的無效語料集混合，確定場景混合語料集；

測試程序模塊，用于向搭載所述全雙工語音交互系統(tǒng)的待測試語音交互設備播放所述場景混合語料集內各個語料音頻；

日志獲取程序模塊，用于獲取所述待測試語音交互設備的工作日志，所述工作日志至少包括第一日志和第二日志，其中，

-所述第一日志記錄有針對各個語料音頻所識別的有效/無效屬性以及對應的語料文本，

-所述第二日志記錄有針對有各個語料音頻的決策結果，所述決策包括響應和丟棄；