[發(fā)明專利]獲取測試樣本的方法及裝置

有效

• 申請?zhí)枺?/td>: 201910808194.0
• 申請日: 2019-08-29
• 公開（公告）號(hào): CN110517665B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 柴浩然
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號(hào): G10L15/01
• 分類號(hào): G10L15/01;G10L15/06
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 薛平;谷敬麗

1.一種獲取測試樣本的方法，其特征在于，包括：

獲取待測語音識(shí)別系統(tǒng)的標(biāo)準(zhǔn)測試樣本、歷史測試樣本，及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本；

分別確定標(biāo)準(zhǔn)測試樣本的變化系數(shù)、歷史測試樣本的變化系數(shù)及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的變化系數(shù)；

根據(jù)標(biāo)準(zhǔn)測試樣本及其變化系數(shù)，歷史測試樣本及其變化系數(shù)，以及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本及其變化系數(shù)，確定調(diào)整后的待測語音識(shí)別系統(tǒng)的全量測試樣本；

根據(jù)待測語音識(shí)別系統(tǒng)的應(yīng)用場景及應(yīng)用場景測試參數(shù)，分別確定全量測試樣本中標(biāo)準(zhǔn)測試樣本的測試權(quán)重、歷史測試樣本的測試權(quán)重，及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的測試權(quán)重；

根據(jù)待測語音識(shí)別系統(tǒng)的標(biāo)準(zhǔn)測試樣本及其測試權(quán)重、歷史測試樣本及其測試權(quán)重，及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本及其測試權(quán)重，從待測語音識(shí)別系統(tǒng)的全量測試樣本中確定待測語音識(shí)別系統(tǒng)的目標(biāo)測試樣本。

2.如權(quán)利要求1所述的方法，其特征在于，應(yīng)用場景至少包括：會(huì)議場景、街道場景、機(jī)場火車站場景、醫(yī)院場景及集貿(mào)會(huì)場景；

相應(yīng)的，預(yù)設(shè)應(yīng)用場景測試樣本至少包括：會(huì)議場景測試樣本、街道場景測試樣本、機(jī)場火車站場景測試樣本、醫(yī)院場景測試樣本及集貿(mào)會(huì)場景測試樣本。

3.如權(quán)利要求1所述的方法，其特征在于，應(yīng)用場景測試參數(shù)至少包括：

應(yīng)用場景的頻次，及語音識(shí)別系統(tǒng)在所述應(yīng)用場景下的識(shí)別準(zhǔn)確率。

4.如權(quán)利要求1所述的方法，其特征在于，通過如下方式確定調(diào)整后的待測語音識(shí)別系統(tǒng)的全量測試樣本：

M'＝aA+bB+cC；

其中，M'表示調(diào)整后的待測語音識(shí)別系統(tǒng)的全量測試樣本，a表示標(biāo)準(zhǔn)測試樣本的變化系數(shù)，A表示標(biāo)準(zhǔn)測試樣本，b表示歷史測試樣本的變化系數(shù)，B表示歷史測試樣本，c表示至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的變化系數(shù)，C表示至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本。

5.如權(quán)利要求1所述的方法，其特征在于，通過如下公式確定待測語音識(shí)別系統(tǒng)的目標(biāo)測試樣本：

N＝αA+βB+γC；

其中，N表示目標(biāo)測試樣本，α表示標(biāo)準(zhǔn)測試樣本的測試權(quán)重，A表示標(biāo)準(zhǔn)測試樣本，β表示歷史測試樣本的測試權(quán)重，γ表示至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的測試權(quán)重，C表示至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本。

6.如權(quán)利要求1所述的方法，其特征在于，還包括：

驗(yàn)證待測語音識(shí)別系統(tǒng)的識(shí)別準(zhǔn)確率；

在待測語音識(shí)別系統(tǒng)的識(shí)別準(zhǔn)確率小于預(yù)設(shè)識(shí)別準(zhǔn)確率時(shí)，調(diào)整待測語音識(shí)別系統(tǒng)的標(biāo)準(zhǔn)測試樣本、歷史測試樣本及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的數(shù)量，確定調(diào)整后的待測語音識(shí)別系統(tǒng)的目標(biāo)測試樣本；或者

在待測語音識(shí)別系統(tǒng)的識(shí)別準(zhǔn)確率小于預(yù)設(shè)識(shí)別準(zhǔn)確率時(shí)，調(diào)整待測語音識(shí)別系統(tǒng)標(biāo)準(zhǔn)測試樣本的測試權(quán)重，歷史測試樣本的測試權(quán)重及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的測試權(quán)重，確定調(diào)整后的待測語音識(shí)別系統(tǒng)的目標(biāo)測試樣本。

7.一種獲取測試樣本的裝置，其特征在于，包括：

測試樣本獲取模塊，用于獲取待測語音識(shí)別系統(tǒng)的標(biāo)準(zhǔn)測試樣本、歷史測試樣本，及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本；

全量測試樣本確定模塊，用于分別確定標(biāo)準(zhǔn)測試樣本的變化系數(shù)、歷史測試樣本的變化系數(shù)及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的變化系數(shù)；根據(jù)標(biāo)準(zhǔn)測試樣本及其變化系數(shù)，歷史測試樣本及其變化系數(shù)，以及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本及其變化系數(shù)，確定調(diào)整后的待測語音識(shí)別系統(tǒng)的全量測試樣本；

測試權(quán)重確定模塊，用于根據(jù)待測語音識(shí)別系統(tǒng)的應(yīng)用場景及應(yīng)用場景測試參數(shù)，分別確定全量測試樣本中標(biāo)準(zhǔn)測試樣本的測試權(quán)重、歷史測試樣本的測試權(quán)重，及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本的測試權(quán)重；

目標(biāo)測試樣本確定模塊，用于根據(jù)待測語音識(shí)別系統(tǒng)的標(biāo)準(zhǔn)測試樣本及其測試權(quán)重、歷史測試樣本及其測試權(quán)重，及至少一個(gè)預(yù)設(shè)應(yīng)用場景測試樣本及其測試權(quán)重，從待測語音識(shí)別系統(tǒng)的全量測試樣本中確定待測語音識(shí)別系統(tǒng)的目標(biāo)測試樣本。