[發(fā)明專利]一種非漢語語音識(shí)別方法、系統(tǒng)及其構(gòu)造方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710156620.8
• 申請(qǐng)日: 2017-03-16
• 公開（公告）號(hào): CN108630192B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 王東;張之勇;趙夢(mèng)原;黃偉明;李國(guó)強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);同方鼎欣科技股份有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/26
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立;王丹

1.一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法，其特征在于，包括以下步驟：

步驟1、利用漢語特征提取模型從漢語語料庫(kù)的漢語語音數(shù)據(jù)中提取語音特征；

步驟2、根據(jù)提取的所述語音特征建立漢語聲學(xué)模型；

步驟3、對(duì)所述漢語聲學(xué)模型進(jìn)行處理，得到非漢語聲學(xué)模型；

步驟4、對(duì)所述漢語特征提取模型進(jìn)行處理，得到非漢語特征提取模型；

步驟5、根據(jù)所述非漢語特征提取模型和所述非漢語聲學(xué)模型構(gòu)建非漢語語音識(shí)別系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法，其特征在于，在步驟5之前，還包括：

步驟6、利用跨語言因子增強(qiáng)所述非漢語聲學(xué)模型，其中，所述跨語言因子為語言無關(guān)因子，包括：環(huán)境因子、信道因子和說話人因子。

3.根據(jù)權(quán)利要求1或2所述的一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法，其特征在于，所述漢語特征提取模型和所述非漢語特征提取模型分別由深度神經(jīng)網(wǎng)絡(luò)DNN或卷積神經(jīng)網(wǎng)絡(luò)CNN構(gòu)成，所述漢語聲學(xué)模型和所述非漢語聲學(xué)模型分別由循環(huán)神經(jīng)網(wǎng)絡(luò)RNN構(gòu)成。

4.根據(jù)權(quán)利要求3所述的一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法，其特征在于，步驟3包括：

步驟3.1、采用i-vector算法對(duì)所述漢語聲學(xué)模型進(jìn)行處理，得到非漢語聲學(xué)模型；或者，

步驟3.2、采用基于深度神經(jīng)網(wǎng)絡(luò)CNN或卷積神經(jīng)網(wǎng)絡(luò)RNN的自動(dòng)編碼器對(duì)所述漢語聲學(xué)模型進(jìn)行處理，得到非漢語聲學(xué)模型。

5.根據(jù)權(quán)利要求4所述的一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法，其特征在于，步驟4包括：

步驟4.1、直接復(fù)制所述漢語特征提取模型，并將其作為所述非漢語特征提取模型；或者，

步驟4.2、根據(jù)目標(biāo)函數(shù)約束法對(duì)所述漢語特征提取模型進(jìn)行處理，得到非漢語特征提取模型。

6.根據(jù)權(quán)利要求5所述的一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法，其特征在于，所述目標(biāo)函數(shù)為：

L(x；w)＝H(x；w)+∑_x||h_c(x)-h_j(x)||²

其中，H(x；w)為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)函數(shù)，h_c(x)和h_j(x)分別為訓(xùn)練樣本x在漢語和非漢語兩個(gè)特征提取網(wǎng)絡(luò)中所有隱藏結(jié)點(diǎn)的激發(fā)值向量。

7.一種非漢語語音識(shí)別系統(tǒng)，其特征在于，所述非漢語語音識(shí)別系統(tǒng)通過如權(quán)利要求1-6中任一項(xiàng)所述的一種非漢語語音識(shí)別系統(tǒng)的構(gòu)造方法構(gòu)造得到。

8.一種非漢語語音識(shí)別方法，其特征在于，包括：

步驟1、獲取待識(shí)別語音信號(hào)；

步驟2、利用如權(quán)利要求7所述的一種非漢語語音識(shí)別系統(tǒng)來確定所述待識(shí)別語音信號(hào)是否為非漢語語音信號(hào)；

步驟3、輸出語音識(shí)別結(jié)果。

9.根據(jù)權(quán)利要求8所述的一種非漢語語音識(shí)別方法，其特征在于，步驟2包括：

步驟2.1、從所述待識(shí)別語音信號(hào)中提取語音特征；

步驟2.2、將提取的所述語音特征輸入至所述非漢語語音識(shí)別系統(tǒng)，并將其與非漢語語音識(shí)別的解碼圖進(jìn)行比對(duì)，確定所述待識(shí)別語音信號(hào)是否為非漢語語音信號(hào)。

10.一種非漢語語音識(shí)別裝置，其特征在于，包括：

獲取模塊，用于獲取待識(shí)別語音信號(hào)；

語音識(shí)別模塊，用于利用如權(quán)利要求7所述的一種非漢語語音識(shí)別系統(tǒng)確定所述獲取模塊獲取的所述待識(shí)別語音信號(hào)是否為非漢語語音信號(hào)；

輸出模塊，用于輸出所述語音識(shí)別模塊確定的語音識(shí)別結(jié)果。