[發(fā)明專利]語音識別方法和裝置

有效

• 申請?zhí)枺?/td>: 201610847841.5
• 申請日: 2016-09-23
• 公開（公告）號: CN107871496B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 劉孟竹;唐青松;張祥德
• 申請（專利權(quán)）人: 北京眼神科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/16;G10L15/26;G10L17/04;G10L17/18
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 韓建偉;李志剛

1.一種語音識別方法，其特征在于，包括：

確定訓(xùn)練語音信號；

確定與所述訓(xùn)練語音信號對應(yīng)的聲源標(biāo)簽，其中，所述聲源標(biāo)簽用于作為語音識別模型提取所述訓(xùn)練語音信號的語調(diào)特征的參照目標(biāo)；

確定與所述訓(xùn)練語音信號對應(yīng)的語義標(biāo)簽，其中，所述語義標(biāo)簽用于作為所述語音識別模型提取所述訓(xùn)練語音信號的語義特征的參照目標(biāo)；

根據(jù)所述訓(xùn)練語音信號、所述聲源標(biāo)簽和所述語義標(biāo)簽訓(xùn)練所述語音識別模型；

通過所述語音識別模型識別目標(biāo)語音信號；

根據(jù)所述訓(xùn)練語音信號、所述聲源標(biāo)簽和所述語義標(biāo)簽訓(xùn)練語音識別模型包括：

按照時間維度對所述訓(xùn)練語音信號進(jìn)行分幀，得到多幀語音信號；

依次將所述多幀語音信號輸入第一神經(jīng)網(wǎng)絡(luò)模型，其中，所述第一神經(jīng)網(wǎng)絡(luò)模型用于提取每幀語音信號的語調(diào)特征；

根據(jù)所述多幀語音信號和與所述多幀語音信號對應(yīng)的所述聲源標(biāo)簽訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值；

依次將所述多幀語音信號輸入第二神經(jīng)網(wǎng)絡(luò)模型，其中，所述第二神經(jīng)網(wǎng)絡(luò)模型用于提取每幀語音信號的語義特征；

根據(jù)所述多幀語音信號和與所述多幀語音信號對應(yīng)的所述語義標(biāo)簽訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值；

根據(jù)訓(xùn)練后的所述第一神經(jīng)網(wǎng)絡(luò)模型和所述第二神經(jīng)網(wǎng)絡(luò)模型確定所述語音識別模型；

所述多幀語音信號包括第一幀語音信號和第二幀語音信號，其中，所述第一幀語音信號為所述第二幀語音信號在時間維度上的前一幀語音信號，

依次將所述多幀語音信號輸入第一神經(jīng)網(wǎng)絡(luò)模型包括：將所述第一幀語音信號輸入所述第一神經(jīng)網(wǎng)絡(luò)模型，得到所述第一幀語音信號的語調(diào)特征；將所述第二幀語音信號輸入所述第一神經(jīng)網(wǎng)絡(luò)模型，

依次將所述多幀語音信號輸入第二神經(jīng)網(wǎng)絡(luò)模型包括：將所述第二幀語音信號和所述第一幀語音信號的語調(diào)特征輸入所述第二神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述訓(xùn)練語音信號、所述聲源標(biāo)簽和所述語義標(biāo)簽訓(xùn)練語音識別模型包括：

確定所述第一幀語音信號的語調(diào)特征所表示的聲源和所述聲源標(biāo)簽所表示的聲源之間的聲源誤差；

在將所述第二幀語音信號和所述第一幀語音信號的語調(diào)特征輸入所述第二神經(jīng)網(wǎng)絡(luò)模型之后，通過對齊網(wǎng)絡(luò)模型對齊所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信號和所述語義標(biāo)簽；

確定所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信號所表示的語義和所述語義標(biāo)簽所表示的語義之間的對齊誤差；

根據(jù)所述對齊誤差和所述聲源誤差調(diào)整所述第一神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值和所述第二神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對齊網(wǎng)絡(luò)模型為CTC對齊網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，

確定所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信號所表示的語義和所述語義標(biāo)簽所表示的語義之間的對齊誤差包括：通過forward-backward算法確定CTC前向變量和CTC后向變量；根據(jù)所述CTC前向變量確定所述第二神經(jīng)網(wǎng)絡(luò)模型的輸出信號所表示的語義為所述語義標(biāo)簽所表示的語義的概率函數(shù)，

根據(jù)所述對齊誤差和所述聲源誤差調(diào)整所述第一神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值和所述第二神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值包括：根據(jù)所述對齊誤差和所述聲源誤差進(jìn)行反向傳播以調(diào)整所述第一神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值，根據(jù)所述CTC前向變量、所述CTC后向變量和所述概率函數(shù)對所述對齊誤差進(jìn)行反向傳播以調(diào)整所述第二神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)模型和/或所述第二神經(jīng)網(wǎng)絡(luò)模型為LSTM網(wǎng)絡(luò)模型。

6.一種語音識別裝置，其特征在于，包括：

第一確定單元，用于確定訓(xùn)練語音信號；

第二確定單元，用于確定與所述訓(xùn)練語音信號對應(yīng)的聲源標(biāo)簽，其中，所述聲源標(biāo)簽用于作為語音識別模型提取所述訓(xùn)練語音信號的語調(diào)特征的參照目標(biāo)；

第三確定單元，用于確定與所述訓(xùn)練語音信號對應(yīng)的語義標(biāo)簽，其中，所述語義標(biāo)簽用于作為所述語音識別模型提取所述訓(xùn)練語音信號的語義特征的參照目標(biāo)；

訓(xùn)練單元，用于根據(jù)所述訓(xùn)練語音信號、所述聲源標(biāo)簽和所述語義標(biāo)簽訓(xùn)練語音識別模型；

識別單元，用于通過所述語音識別模型識別目標(biāo)語音信號；

分幀模塊，用于按照時間維度對所述訓(xùn)練語音信號進(jìn)行分幀，得到多幀語音信號；

第一輸入模塊，用于依次將所述多幀語音信號輸入第一神經(jīng)網(wǎng)絡(luò)模型，其中，所述第一神經(jīng)網(wǎng)絡(luò)模型用于提取每幀語音信號的語調(diào)特征；

第一訓(xùn)練模塊，用于根據(jù)所述多幀語音信號和與所述多幀語音信號對應(yīng)的所述聲源標(biāo)簽訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值；

第二輸入模塊，用于依次將所述多幀語音信號輸入第二神經(jīng)網(wǎng)絡(luò)模型，其中，所述第二神經(jīng)網(wǎng)絡(luò)模型用于提取每幀語音信號的語義特征；

第二訓(xùn)練模塊，用于根據(jù)所述多幀語音信號和與所述多幀語音信號對應(yīng)的所述語義標(biāo)簽訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)參數(shù)的參數(shù)值；

確定模塊，用于根據(jù)訓(xùn)練后的所述第一神經(jīng)網(wǎng)絡(luò)模型和所述第二神經(jīng)網(wǎng)絡(luò)模型確定所述語音識別模型；

所述多幀語音信號包括第一幀語音信號和第二幀語音信號，其中，所述第一幀語音信號為所述第二幀語音信號在時間維度上的前一幀語音信號，

所述第一輸入模塊還用于將所述第一幀語音信號輸入所述第一神經(jīng)網(wǎng)絡(luò)模型，得到所述第一幀語音信號的語調(diào)特征；將所述第二幀語音信號輸入所述第一神經(jīng)網(wǎng)絡(luò)模型，

所述第二輸入模塊還用于將所述第二幀語音信號和所述第一幀語音信號的語調(diào)特征輸入所述第二神經(jīng)網(wǎng)絡(luò)模型。