[發(fā)明專利]用于語音識別的訓(xùn)練方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 201711064668.2
• 申請日: 2017-11-02
• 公開（公告）號: CN108630197A
• 公開（公告）日: 2018-10-09
• 發(fā)明（設(shè)計）人: 閔允泓
• 申請（專利權(quán)）人: 三星電子株式會社
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 姜長星;張川緒

公開一種用于語音識別的訓(xùn)練方法和設(shè)備，其中，所述訓(xùn)練方法的示例包括：確定是否通過使用經(jīng)驗回放集的經(jīng)驗回放迭代執(zhí)行用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的當(dāng)前迭代；基于確定的結(jié)果從經(jīng)驗回放集和訓(xùn)練集中的至少一個選擇樣本；基于選擇的樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

本申請要求于2017年3月23日提交到韓國知識產(chǎn)權(quán)局的第10-2017-0036909號韓國專利申請的權(quán)益，所述韓國專利申請的全部公開出于所有目的通過引用包含于此。

技術(shù)領(lǐng)域

以下描述涉及一種用于語音識別的訓(xùn)練技術(shù)。

背景技術(shù)

語音識別設(shè)備中使用的聲學(xué)模型可以以隱馬爾科夫模型(HMM)和高斯混合模型(GMM)的混合形式來實現(xiàn)。近來，主要使用基于神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型的深度學(xué)習(xí)方案正在被商業(yè)化。

已提出各種方案用于訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型。聲學(xué)模型學(xué)習(xí)的速度(即，它的學(xué)習(xí)速度)是初始未訓(xùn)練的聲學(xué)模型變?yōu)橥耆?xùn)練的速度。可需要用于提高學(xué)習(xí)速度并提高訓(xùn)練效率和準(zhǔn)確度的訓(xùn)練方案。

發(fā)明內(nèi)容

提供本發(fā)明內(nèi)容以采用簡化的形式介紹對在下面的具體實施方式中進一步描述的構(gòu)思的選擇。本發(fā)明內(nèi)容不旨在標(biāo)識所要求保護主題的關(guān)鍵特征或必要特征，也不意圖被用作幫助確定所要求保護主題的范圍。

在一個總體的方面，提供一種訓(xùn)練方法，包括：確定是否通過使用經(jīng)驗回放集的經(jīng)驗回放迭代執(zhí)行用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的當(dāng)前迭代；基于確定的結(jié)果從經(jīng)驗回放集和訓(xùn)練集中的至少一個選擇樣本；基于選擇的樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

確定的步驟可包括：確定與當(dāng)前迭代對應(yīng)的迭代編號是否為第一數(shù)字的倍數(shù)。

確定的步驟可包括：確定與當(dāng)前迭代對應(yīng)的迭代編號是否小于第一數(shù)字的倍數(shù)與第二數(shù)字之和。

確定的步驟可包括：確定與當(dāng)前迭代之前的迭代對應(yīng)的訓(xùn)練誤差減小是否小于或等于閾值。

確定的步驟可包括：確定是否使用批處理方案執(zhí)行當(dāng)前迭代。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代，從經(jīng)驗回放集隨機選擇樣本。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代，從訓(xùn)練集隨機選擇第一樣本；從經(jīng)驗回放集選擇與隨機選擇的第一樣本具有最大相似度的第二樣本。

可基于語音樣本的三音素的分布定義相似度。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代，基于經(jīng)驗回放集中的樣本的質(zhì)量從經(jīng)驗回放集選擇樣本。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代并且使用批處理方案執(zhí)行經(jīng)驗回放迭代，從經(jīng)驗回放集隨機選擇樣本。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代并且使用批處理方案執(zhí)行經(jīng)驗回放迭代，按照比例從經(jīng)驗回放集和訓(xùn)練集隨機選擇樣本。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代并且使用批處理方案執(zhí)行經(jīng)驗回放迭代，從訓(xùn)練集隨機選擇第一樣本；從經(jīng)驗回放集選擇與隨機選擇的第一樣本具有最大相似度的第二樣本。

選擇的步驟可包括：響應(yīng)于通過經(jīng)驗回放迭代執(zhí)行當(dāng)前迭代并且使用批處理方案執(zhí)行經(jīng)驗回放迭代，基于經(jīng)驗回放集中的樣本的質(zhì)量從經(jīng)驗回放集選擇樣本。

所述訓(xùn)練方法可包括：基于訓(xùn)練的結(jié)果和選擇的樣本確定是否更新經(jīng)驗回放集。

確定是否更新經(jīng)驗回放集的步驟可包括基于以下項中的任意一個或任意組合計算選擇的樣本的質(zhì)量：選擇的樣本在包括在經(jīng)驗回放集中的樣本的分布中的概率；從基于選擇的樣本訓(xùn)練的神經(jīng)網(wǎng)絡(luò)獲得的輸出；對應(yīng)于當(dāng)前迭代的訓(xùn)練誤差減小；對應(yīng)于當(dāng)前迭代之前的迭代的訓(xùn)練誤差減小和對應(yīng)于當(dāng)前迭代的訓(xùn)練誤差減小之間的差。