[發(fā)明專利]模型訓(xùn)練方法、方言識(shí)別方法、裝置、服務(wù)器及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011453440.4
• 申請日: 2020-12-11
• 公開（公告）號(hào): CN112634867A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 羅劍;王健宗;程寧
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L15/00
• 分類號(hào): G10L15/00;G10L15/02;G10L15/06;G10L15/183;G10L15/26
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 賀小旺

1.一種模型訓(xùn)練方法，其特征在于，所述模型訓(xùn)練方法用于訓(xùn)練方言識(shí)別模型，所述方法應(yīng)用于服務(wù)器，所述方言識(shí)別模型包括第一編碼器、第二編碼器、第一注意力模塊、第二注意力模塊、連接時(shí)序分類器和解碼器，所述方法包括：

獲取樣本數(shù)據(jù)，其中，所述樣本數(shù)據(jù)包括目標(biāo)文本和所述目標(biāo)文本對應(yīng)于的方言語音序列和普通話語音序列；

將所述方言語音序列輸入至所述第一編碼器，得到第一特征向量，并將所述普通話語音序列輸入至所述第二編碼器，得到第二特征向量；

將所述第一特征向量和第二特征向量輸入至所述連接時(shí)序分類器，得到第一文本；

將所述第一特征向量輸入至所述第一注意力模塊，得到第一上下文關(guān)聯(lián)向量，并將所述第二特征向量輸入至所述第二注意力模塊，得到第二上下文關(guān)聯(lián)向量；

將所述第一上下文關(guān)聯(lián)向量和第二上下文關(guān)聯(lián)向量輸入至所述解碼器，得到第二文本和第三文本；

根據(jù)所述目標(biāo)文本、第一文本、第二文本和第三文本，確定所述方言識(shí)別模型的目標(biāo)損失值；

根據(jù)所述目標(biāo)損失值，確定所述方言識(shí)別模型是否收斂；

若所述方言識(shí)別模型未收斂，則更新所述方言識(shí)別模型的模型參數(shù)，并繼續(xù)對更新后的所述方言識(shí)別模型進(jìn)行訓(xùn)練，直至所述方言識(shí)別模型收斂。

2.如權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述第一編碼器和所述第二編碼器包括第一預(yù)設(shè)數(shù)量的神經(jīng)網(wǎng)絡(luò)，所述解碼器包括第二預(yù)設(shè)數(shù)量的神經(jīng)網(wǎng)絡(luò)，所述連接時(shí)序分類器包括第三預(yù)設(shè)數(shù)量的神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)包括雙向長短時(shí)記憶網(wǎng)絡(luò)。

3.如權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述方言識(shí)別模型的目標(biāo)損失函數(shù)是通過所述第一注意力模塊或第二注意力模塊的第一損失函數(shù)、所述連接時(shí)序分類器的第二損失函數(shù)和所述編碼器的第三損失函數(shù)確定的。

4.如權(quán)利要求3所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述目標(biāo)文本、第一文本、第二文本和第三文本，確定所述方言識(shí)別模型的目標(biāo)損失值，包括：

基于所述第一損失函數(shù)，根據(jù)所述目標(biāo)文本和所述第二文本，確定第一損失值；

基于所述第二損失函數(shù)，根據(jù)所述目標(biāo)文本和所述第一文本，確定第二損失值；

基于所述第三損失函數(shù)，根據(jù)所述第二文本和所述第三文本，確定第三損失值；

根據(jù)所述第一損失值、第二損失值和第三損失值，確定所述方言識(shí)別模型的目標(biāo)損失值。

5.如權(quán)利要求4所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述第一損失值、第二損失值和第三損失值，確定所述方言識(shí)別模型的目標(biāo)損失值，包括：

根據(jù)所述第一損失值、第二損失值和第三損失值，確定所述目標(biāo)損失函數(shù)的最小值；

將所述目標(biāo)損失函數(shù)的最小值確定為所述方言識(shí)別模型的目標(biāo)損失值。

6.如權(quán)利要求1-5中任一項(xiàng)所述的模型訓(xùn)練方法，其特征在于，根據(jù)所述目標(biāo)損失值，確定所述方言識(shí)別模型是否收斂，包括

確定所述目標(biāo)損失值是否大于預(yù)設(shè)閾值；

若確定所述目標(biāo)損失值大于預(yù)設(shè)閾值，則確定所述方言識(shí)別模型未收斂；

若確定所述目標(biāo)損失值小于或等于預(yù)設(shè)閾值，則確定所述方言識(shí)別模型已收斂。

7.一種方言識(shí)別方法，其特征在于，包括：

獲取待識(shí)別的語音信息，并對所述語音信息進(jìn)行語音特征序列提取，得到所述語音信息對應(yīng)的語音特征序列；

將所述語音特征序列輸入至預(yù)設(shè)方言識(shí)別模型中，得到所述語音信息對應(yīng)的文本，其中，所述預(yù)設(shè)方言識(shí)別模型是通過如權(quán)利要求1-6中任一項(xiàng)所述的模型訓(xùn)練方法進(jìn)行訓(xùn)練得到的。