[發明專利]基于單向自標注輔助信息的多視角語言識別方法

有效

• 申請號: 201710561261.4
• 申請日: 2017-07-11
• 公開（公告）號: CN107452374B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 俞凱;錢彥旻;吳越;賀天行;陳哲懷
• 申請（專利權）人: 上海交通大學;蘇州思必馳信息科技有限公司
• 主分類號: G10L15/14
• 分類號: G10L15/14;G10L15/16;G10L15/18;G10L17/04
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種基于單向自標注輔助信息的多視角語言識別方法，首先通過標注模型對當前詞和詞層面的輔助信息進行自標注，得到當前詞的自標注輔助特征的概率分布；然后將自標注輔助特征的概率分布通過Viterbi解碼得到相對準確的輔助特征，從而將雙向輔助信息轉換為單向輔助信息；再將單向輔助信息和當前詞一起輸入多視角語言模型進行解析，得到當前詞的準確語義。本發明通過將多視角神經網絡中的詞層面的輔助特征，從而消除后文信息造成的負面影響，采用多種不同的詞層面的輔助信息，引入具有樹形結構的詞層面輔助特征進行多視角語言模型訓練，并且在標注模型和語言模塊分別使用穩定算子來調整不同的適應各自的學習率等特點。

技術領域

本發明涉及的是一種語音識別領域的技術，具體是一種基于單向自標注輔助信息的多視角語言識別方法。

背景技術

近幾年，循環神進網絡(RNN)和基于記憶單元的長短時間變化神經網絡(LSTM)被廣泛用于語言模型。在現有的利用LSTM建模的諸多語言模型中，多視角神經網絡語言模型能夠在混淆度判斷標準(Perplexity)上提升一定的模型性能，但是在語音識別重打分任務上并沒有提升。

這是因為這些模型所涉及的輔助特征向量中詞層面的向量的信息是雙向信息，即同時包含上下文信息，以至于在混淆度判斷時引入了后文作弊信息故而提升，而在語音識別重打分(ASR rescore)任務中這些作弊信息無法被使用，因此無法提升語言識別重打分任務，同樣的也無法在大規模語料的語音識別任務中起作用。

發明內容

本發明針對現有多視角語言模型的詞層面的輔助信息包含后文信息，使得后文信息對預測結果產生負面影響，從而無法在語音識別重打分(ASR rescore)任務中提高效果、多視角語言模型的輔助特征的種類較為單一、詞層面的輔助特征較為扁平化等等缺陷，提出一種基于單向自標注輔助信息的多視角語言識別方法，通過將多視角神經網絡中的詞層面的輔助特征，由包含前后文信息的狀態轉換為只包含前文信息，從而消除后文信息造成的負面影響，在此基礎上，本發明還采用多種不同的詞層面的輔助信息，引入具有樹形結構的詞層面輔助特征進行多視角語言模型訓練，并且在標注模型和語言模塊分別使用穩定算子來調整不同的適應各自的學習率等特點。

本發明是通過以下技術方案實現的：

本發明涉及一種基于單向自標注輔助信息的多視角語言識別方法，首先通過標注模型對當前詞和詞層面的輔助信息進行自標注，得到當前詞的自標注輔助特征的概率分布；然后將自標注輔助特征的概率分布通過Viterbi解碼得到相對準確的輔助特征，從而將雙向輔助信息轉換為單向輔助信息；再將單向輔助信息和當前詞一起輸入多視角語言模型進行解析，得到當前詞的準確語義。

所述的標注模型(Tagging model)采用具有長短時間變化(LSTM)單元的循環神經網絡(RNN)，用于在保證較高準確率的情況下將同時包含前后文信息的輔助特征轉化為只含有前文信息的特征。

該長短時間變化循環神經網絡包含前后文信息的輔助特征將由傳統的方法(如基于最大熵的雙向循環神經網絡)對語言模型的訓練數據進行標注，特征作為訓練這個模型的標注輸入到標注模型的輸出層。

所述的Viterbi解碼過程中使用的約束矩陣是根據訓的已標注數據統計得到，用來保證標注模型的準確率。

所述的多視角語言模型(Language Model)采用具有長短時間變化(LSTM)的循環神經網絡(RNN)，且循環神經網絡(RNN)的采用LSTM作為其隱層單元，其中：來自標注模型的單向輔助信息和當前詞一起作為多視角語言模型的輸入，由該多視角語言模型的隱層訓練一個多視角的長短時間變化循環神經網絡語言模型，下一個詞作為標注輸入到該多視角語言模型的輸出層。

所述的該多視角語言模型中的隱層具有多個輸入和一個輸出，輸入為語言模型的當前詞和標注模型輸出的當前詞的單向輔助信息，輸出表示語言模型下一個詞的概率分布向量。