[發(fā)明專利]一種針對(duì)民航陸空通話領(lǐng)域的端到端的自動(dòng)語(yǔ)音識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910571279.1
• 申請(qǐng)日: 2019-06-25
• 公開（公告）號(hào): CN112133292A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 楊群;周凱;劉紹翰
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/16;G10L15/183;G10L15/26
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開一種針對(duì)民航陸空通話領(lǐng)域的端到端自動(dòng)語(yǔ)音識(shí)別方法。其中端到端的語(yǔ)音識(shí)別方法包括：以端到端模型為聲學(xué)模型的語(yǔ)音識(shí)別的方法；端到端模型的訓(xùn)練方法；基于端到端模型的語(yǔ)音識(shí)別方法在民航陸空通話領(lǐng)域的應(yīng)用。其中端到端模型的訓(xùn)練方法包括：基于最大相關(guān)互信息為目標(biāo)函數(shù)的端到端模型訓(xùn)練方法、訓(xùn)練過程中免詞格訓(xùn)練方法、特殊的端到端神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。此外公開了深度學(xué)習(xí)中的端到端模型在民航陸空通話領(lǐng)域中特殊的數(shù)據(jù)處理、訓(xùn)練方法以及特殊的應(yīng)用方法。發(fā)明的端到端模型的訓(xùn)練相比于常規(guī)的模型需要的時(shí)間、樣本、機(jī)器的性能都有較大的改善。并且在識(shí)別效果上相較于常規(guī)模型也有改進(jìn)。

技術(shù)領(lǐng)域

本發(fā)明涉及智能通話、信號(hào)處理以及深度學(xué)習(xí)領(lǐng)域，特別是涉及一種針對(duì)民航陸空通話領(lǐng)域的端到端語(yǔ)音識(shí)別方法及系統(tǒng)。

背景技術(shù)

隨著民航客運(yùn)、貨運(yùn)業(yè)務(wù)等迅速擴(kuò)展，機(jī)場(chǎng)飛機(jī)活動(dòng)十分頻繁，這給機(jī)場(chǎng)空中交通管制員帶來了極大的工作壓力。因此，我們需要以智能機(jī)器輔助管制員進(jìn)行空中交通管制，以降低空管員工作壓力更好地保障機(jī)場(chǎng)安全與秩序。進(jìn)行一切智能輔助的前提是人與機(jī)器的智能交互，而最快捷地交互無(wú)疑是進(jìn)行口語(yǔ)交流。因此，本發(fā)明一種針對(duì)民航陸空通話領(lǐng)域的端到端自動(dòng)語(yǔ)音識(shí)別方法功能即將管制員與飛行員交流的通話轉(zhuǎn)寫為文字或是信號(hào)以輸入計(jì)算機(jī)輔助程序。

傳統(tǒng)的自動(dòng)語(yǔ)音識(shí)別方法是基于混合高斯模型以及隱馬爾科夫模型的，即使是基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別方法大多數(shù)也是需要先訓(xùn)練混合高斯模型以及隱馬爾科夫模型以生成對(duì)齊文件，并以對(duì)齊文件為輸入訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型。這樣的語(yǔ)音識(shí)別模型訓(xùn)練過程無(wú)疑是繁瑣的并且耗時(shí)耗力，后來隨著深度學(xué)習(xí)不斷往端到端模型發(fā)展，越來越多的研究者們?cè)趫D像識(shí)別、自然語(yǔ)言處理以及語(yǔ)音識(shí)別領(lǐng)域成功地應(yīng)用了端到端模型。端到端模型其比上述傳統(tǒng)模型以及常規(guī)深度模型不同指出在于端到端模型的訓(xùn)練無(wú)需預(yù)訓(xùn)練一個(gè)傳統(tǒng)模型以獲取對(duì)齊文件、也無(wú)需生成樹結(jié)構(gòu)的上下文相關(guān)模型甚至無(wú)需語(yǔ)言模型即可進(jìn)行訓(xùn)練。然而研究表明加上語(yǔ)言模型可以進(jìn)一步提高識(shí)別效果，因此本發(fā)明中語(yǔ)言模型作為一個(gè)可選模塊根據(jù)具體應(yīng)用要求可有可無(wú)。

本發(fā)明一種針對(duì)民航陸空通話領(lǐng)域的端到端語(yǔ)音識(shí)別方法可以在提高識(shí)別效果的前提下，降低訓(xùn)練模型的開銷包括時(shí)間、人力以及金錢。除此之外，本發(fā)明應(yīng)用于民航陸空通話領(lǐng)域以輔助管制員與飛行員進(jìn)行交流與記錄。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種針對(duì)民航陸空通話領(lǐng)域的端到端語(yǔ)音識(shí)別方法及系統(tǒng)，提高民航陸空通話的準(zhǔn)確性同時(shí)降低訓(xùn)練模型的開銷成本。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種針對(duì)民航陸空通話領(lǐng)域的端到端自動(dòng)語(yǔ)音識(shí)別方法，其特征在于利用端到端模型為聲學(xué)模型建立的適用于民航陸空通話的自動(dòng)語(yǔ)音識(shí)別方法，所述語(yǔ)音識(shí)別方法包括：

以端到端模型為聲學(xué)模型進(jìn)行語(yǔ)音識(shí)別；

端到端模型的訓(xùn)練方法；

基于端到端模型的語(yǔ)音識(shí)別方法在民航陸空通話領(lǐng)域的應(yīng)用。

根據(jù)所述的語(yǔ)音識(shí)別方法，其特征在于使用端到端模型作為語(yǔ)音識(shí)別的聲學(xué)模型，利用所述端到端模型進(jìn)行語(yǔ)音識(shí)別，具體包括：

端到端模型的結(jié)構(gòu)特征在于它是基于時(shí)延神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與長(zhǎng)短時(shí)記憶單元結(jié)構(gòu)的復(fù)合神經(jīng)網(wǎng)絡(luò)模型；

特殊結(jié)構(gòu)的上下文相關(guān)信息模型，用于統(tǒng)計(jì)上下文相關(guān)信息；

可選的語(yǔ)言模型，用于統(tǒng)計(jì)字詞間的出現(xiàn)概率，用于解碼過程終音素到字詞的映射；

將所述基于端到端模型的聲學(xué)模型結(jié)合上下文相關(guān)模型即為所述的端到端語(yǔ)音識(shí)別模型，可選的附加語(yǔ)言模型可以進(jìn)一步提高語(yǔ)音識(shí)別效果。

根據(jù)所述的端到端模型訓(xùn)練方法，其特征在于端到端模型是根據(jù)最大相關(guān)互信息結(jié)合免詞格方法訓(xùn)練，具體包括：