[發(fā)明專利]一種中英文混合語(yǔ)音識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910780880.1
• 申請(qǐng)日: 2019-08-22
• 公開（公告）號(hào): CN110675854B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 張廣學(xué);肖龍?jiān)?/a>;蔡振華;李稀敏;劉曉葳;王靜
• 申請(qǐng)（專利權(quán)）人: 廈門快商通科技股份有限公司
• 主分類號(hào): G10L15/00
• 分類號(hào): G10L15/00;G10L15/02;G10L15/06;G10L15/26
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開一種中英文混合語(yǔ)音識(shí)別方法及裝置，屬于語(yǔ)音識(shí)別技術(shù)領(lǐng)域，該方法包括，獲取中英文混合詞典，該中英文混合詞典包括：訓(xùn)練文本，基于“漢字?拼音”和“拼音?音素”的結(jié)構(gòu)，對(duì)訓(xùn)練文本中的英文表達(dá)、中英文表達(dá)生成音素規(guī)則；將中英文混合詞典作為訓(xùn)練詞典，進(jìn)行語(yǔ)言模型訓(xùn)練，得到訓(xùn)練后的語(yǔ)言模型，訓(xùn)練語(yǔ)料，對(duì)語(yǔ)料提取語(yǔ)音特征，基于語(yǔ)音特征采用時(shí)延神經(jīng)網(wǎng)絡(luò)進(jìn)行聲學(xué)模型訓(xùn)練，得到訓(xùn)練后的聲學(xué)模型；結(jié)合訓(xùn)練后的聲學(xué)模型和訓(xùn)練后的語(yǔ)言模型對(duì)中英文混合語(yǔ)音進(jìn)行語(yǔ)音識(shí)別。本發(fā)明避免對(duì)每個(gè)國(guó)際音標(biāo)建立一個(gè)音素，解決了語(yǔ)音模型龐大、解碼速度慢的問(wèn)題，提高了中英文混合語(yǔ)音的識(shí)別正確率。

技術(shù)領(lǐng)域

本發(fā)明屬于語(yǔ)音識(shí)別領(lǐng)域，特別涉及一種中英文混合語(yǔ)音識(shí)別方法及裝置。

背景技術(shù)

目前，隨著經(jīng)濟(jì)的發(fā)展、科技的進(jìn)步，人們生活日益全球化，使用混合語(yǔ)言交流的現(xiàn)象已經(jīng)成為一種普遍現(xiàn)象。在我們實(shí)際生活中，對(duì)常用、甚至是特殊領(lǐng)域英文是有需求的，但現(xiàn)有的語(yǔ)音識(shí)別模型很少進(jìn)行中英文混合語(yǔ)音識(shí)別。中英文混合語(yǔ)言之間的聲學(xué)和語(yǔ)言之間的復(fù)雜性給語(yǔ)音識(shí)別帶來(lái)挑戰(zhàn)。

現(xiàn)有技術(shù)中，在中英文混合語(yǔ)音識(shí)別的過(guò)程中，針對(duì)訓(xùn)練文本中的中英文表達(dá)和英文表達(dá)，需要在詞典中建立與其相對(duì)應(yīng)的音素。在詞典中，對(duì)每一個(gè)國(guó)際音標(biāo)建立一個(gè)相應(yīng)的音素，則會(huì)使語(yǔ)音模型變得龐大，并且解碼速度變慢。使的中英文混合語(yǔ)音識(shí)別速度慢，效率低。

發(fā)明內(nèi)容

為了至少解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種中英文混合語(yǔ)音識(shí)別方法及裝置，采用中英文混合詞典，避免對(duì)每個(gè)國(guó)際音標(biāo)建立一個(gè)音素，對(duì)中英文發(fā)音相似的音素標(biāo)注為中文音素、做特殊標(biāo)記，解決了語(yǔ)音模型龐大、解碼速度慢的問(wèn)題，提高了中英文混合語(yǔ)音的識(shí)別正確率。

根據(jù)本發(fā)明第一方面，提供了一種中英文混合語(yǔ)音識(shí)別方法，包括：

獲取中英文混合詞典，所述中英文混合詞典包括：訓(xùn)練文本，基于“漢字-拼音”和“拼音-音素”的結(jié)構(gòu)，對(duì)訓(xùn)練文本中的英文表達(dá)、中英文表達(dá)生成音素規(guī)則；

將所述中英文混合詞典作為訓(xùn)練詞典，進(jìn)行語(yǔ)音模型訓(xùn)練，得到訓(xùn)練后的語(yǔ)言模型，訓(xùn)練語(yǔ)料，基于語(yǔ)料提取語(yǔ)音特征，基于語(yǔ)音特征采用時(shí)延神經(jīng)網(wǎng)絡(luò)進(jìn)行聲學(xué)模型訓(xùn)練，得到訓(xùn)練后的聲學(xué)模型；

結(jié)合所述訓(xùn)練后的聲學(xué)模型和所述訓(xùn)練后的語(yǔ)言模型對(duì)中英文混合語(yǔ)音進(jìn)行語(yǔ)音識(shí)別。

進(jìn)一步地，所述訓(xùn)練語(yǔ)料，包括，基于自定義數(shù)據(jù)集以及公開數(shù)據(jù)進(jìn)行語(yǔ)料訓(xùn)練。

進(jìn)一步地，所述訓(xùn)練文本，包括：收集生活中的對(duì)話、寫作、專有名詞中的中文表達(dá)、中英文表達(dá)以及英文表達(dá)方式。

進(jìn)一步地，所述基于“漢字-拼音”和“拼音-音素”的結(jié)構(gòu)，對(duì)訓(xùn)練文本中的英文表達(dá)、中英文表達(dá)生成音素規(guī)則，包括：對(duì)所述訓(xùn)練文本中的英文表達(dá)、中英文表達(dá)中的英文音素構(gòu)建：輔音-元音-輔音的結(jié)構(gòu)，以及輔音-元音的結(jié)構(gòu)，然后，基于“漢字-拼音”和“拼音-音素”的結(jié)構(gòu)生成音素規(guī)則。

進(jìn)一步地，所述基于“漢字-拼音”和“拼音-音素”的結(jié)構(gòu)，對(duì)訓(xùn)練文本中的英文表達(dá)、中英文表達(dá)生成音素規(guī)則時(shí)，還包括：對(duì)受中文發(fā)音影響的英文，采用相對(duì)應(yīng)的中文標(biāo)注。

進(jìn)一步地，所述方法還包括：對(duì)中英文發(fā)音相似的音素，標(biāo)注為中文音素，并進(jìn)行特殊標(biāo)記，以區(qū)別與不受中文發(fā)音影響的英文。

進(jìn)一步地，所述基于語(yǔ)料采用時(shí)延神經(jīng)網(wǎng)絡(luò)進(jìn)行聲學(xué)模型訓(xùn)練之前，包括：將所述時(shí)延神經(jīng)網(wǎng)絡(luò)的延時(shí)參數(shù)設(shè)置為大于等于3，小于等于5；所述時(shí)延神經(jīng)網(wǎng)絡(luò)對(duì)每幀音頻提取13維語(yǔ)音特征。

進(jìn)一步地，所述結(jié)合所述訓(xùn)練后的聲學(xué)模型和所述訓(xùn)練后的語(yǔ)言模型對(duì)中英文混合語(yǔ)音進(jìn)行語(yǔ)音識(shí)別，包括：