[發明專利]獲取測試樣本的方法及裝置

有效

• 申請號: 201910808194.0
• 申請日: 2019-08-29
• 公開（公告）號: CN110517665B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 柴浩然
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G10L15/01
• 分類號: G10L15/01;G10L15/06
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 薛平;谷敬麗

1.一種獲取測試樣本的方法，其特征在于，包括：

獲取待測語音識別系統的標準測試樣本、歷史測試樣本，及至少一個預設應用場景測試樣本；

分別確定標準測試樣本的變化系數、歷史測試樣本的變化系數及至少一個預設應用場景測試樣本的變化系數；

根據標準測試樣本及其變化系數，歷史測試樣本及其變化系數，以及至少一個預設應用場景測試樣本及其變化系數，確定調整后的待測語音識別系統的全量測試樣本；

根據待測語音識別系統的應用場景及應用場景測試參數，分別確定全量測試樣本中標準測試樣本的測試權重、歷史測試樣本的測試權重，及至少一個預設應用場景測試樣本的測試權重；

根據待測語音識別系統的標準測試樣本及其測試權重、歷史測試樣本及其測試權重，及至少一個預設應用場景測試樣本及其測試權重，從待測語音識別系統的全量測試樣本中確定待測語音識別系統的目標測試樣本。

2.如權利要求1所述的方法，其特征在于，應用場景至少包括：會議場景、街道場景、機場火車站場景、醫院場景及集貿會場景；

相應的，預設應用場景測試樣本至少包括：會議場景測試樣本、街道場景測試樣本、機場火車站場景測試樣本、醫院場景測試樣本及集貿會場景測試樣本。

3.如權利要求1所述的方法，其特征在于，應用場景測試參數至少包括：

應用場景的頻次，及語音識別系統在所述應用場景下的識別準確率。

4.如權利要求1所述的方法，其特征在于，通過如下方式確定調整后的待測語音識別系統的全量測試樣本：

M'＝aA+bB+cC；

其中，M'表示調整后的待測語音識別系統的全量測試樣本，a表示標準測試樣本的變化系數，A表示標準測試樣本，b表示歷史測試樣本的變化系數，B表示歷史測試樣本，c表示至少一個預設應用場景測試樣本的變化系數，C表示至少一個預設應用場景測試樣本。

5.如權利要求1所述的方法，其特征在于，通過如下公式確定待測語音識別系統的目標測試樣本：

N＝αA+βB+γC；

其中，N表示目標測試樣本，α表示標準測試樣本的測試權重，A表示標準測試樣本，β表示歷史測試樣本的測試權重，γ表示至少一個預設應用場景測試樣本的測試權重，C表示至少一個預設應用場景測試樣本。

6.如權利要求1所述的方法，其特征在于，還包括：

驗證待測語音識別系統的識別準確率；

在待測語音識別系統的識別準確率小于預設識別準確率時，調整待測語音識別系統的標準測試樣本、歷史測試樣本及至少一個預設應用場景測試樣本的數量，確定調整后的待測語音識別系統的目標測試樣本；或者

在待測語音識別系統的識別準確率小于預設識別準確率時，調整待測語音識別系統標準測試樣本的測試權重，歷史測試樣本的測試權重及至少一個預設應用場景測試樣本的測試權重，確定調整后的待測語音識別系統的目標測試樣本。

7.一種獲取測試樣本的裝置，其特征在于，包括：

測試樣本獲取模塊，用于獲取待測語音識別系統的標準測試樣本、歷史測試樣本，及至少一個預設應用場景測試樣本；

全量測試樣本確定模塊，用于分別確定標準測試樣本的變化系數、歷史測試樣本的變化系數及至少一個預設應用場景測試樣本的變化系數；根據標準測試樣本及其變化系數，歷史測試樣本及其變化系數，以及至少一個預設應用場景測試樣本及其變化系數，確定調整后的待測語音識別系統的全量測試樣本；

測試權重確定模塊，用于根據待測語音識別系統的應用場景及應用場景測試參數，分別確定全量測試樣本中標準測試樣本的測試權重、歷史測試樣本的測試權重，及至少一個預設應用場景測試樣本的測試權重；

目標測試樣本確定模塊，用于根據待測語音識別系統的標準測試樣本及其測試權重、歷史測試樣本及其測試權重，及至少一個預設應用場景測試樣本及其測試權重，從待測語音識別系統的全量測試樣本中確定待測語音識別系統的目標測試樣本。