[發明專利]語音識別后處理方法和系統及相關設備

在審

• 申請號: 202011476615.3
• 申請日: 2020-12-15
• 公開（公告）號: CN112634878A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 黃石磊;劉軼;程剛
• 申請（專利權）人: 深港產學研基地（北京大學香港科技大學深圳研修院）;北京大學深圳研究院
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/183;G10L15/19;G10L15/22
• 代理公司: 深圳市萬商天勤知識產權事務所(普通合伙) 44279
• 代理人: 羅建平

本發明公開了一種語音識別后處理方法和系統及相關設備。所述方法包括：從語音識別系統針對輸入語音進行第一次解碼產生的詞圖lattice中，提取前N個最好的識別結果N?best lists；使用訓練好的帶有詞性的BERT雙向語言模型對N?best lists進行重打分；從N?best lists中選擇得分最高的結果作為最終的識別結果。本發明對N?best lists進行重打分時，通過使用帶有詞性的BERT雙向語言模型，能夠同時利用上下文信息，還可以利用到上下文的詞性信息，從而可以進一步提升語音識別系統的性能。

技術領域

本發明涉及語音識別技術領域，具體涉及一種語音識別后處理方法和系統及相關設備。

背景技術

語音識別是一門交叉學科。近二十年來，語音識別技術取得顯著進步，開始從實驗室走向市場。一個語音識別系統主要由聲學模型、語言模型、發音詞典構成。其中語言模型目前大致可分成三類：基于規則的語言模型，基于統計的語言模型，基于神經網絡的語言模型。而目前基于統計的N-gram語言模型被普遍應用在語音識別中，它假設任意一個詞出現的概率最多只同它前面N-1個詞有關。所以，N-gram語言模型可以利用的上文信息受到N大小的限制。理論上N越大，它可以利用更多的上文信息。但是N越大，該模型的數據稀疏問題就越嚴重。為了解決數據稀疏問題，許多相關的平滑算法也相繼被提出：拉普拉斯平滑、內插法、回溯法。如今，基于神經網絡的語言模型得到廣泛的關注。在此基礎上，人們提出了雙向語言模型，基于注意力機制的語言模型等等。如何將基于神經網絡的語言模型應用到語音識別系統中來進一步提升系統的性能，是目前重要的研究方向。

發明內容

本發明的目的在于提供一種語音識別后處理方法和系統及相關設備，以提升語音識別系統的性能。

為實現上述發明目的，本發明采用如下技術方案。

本發明第一方面，提供一種語音識別后處理方法，包括：從語音識別系統針對輸入語音進行第一次解碼產生的詞圖lattice中，提取前N個最好的識別結果N-best lists；使用訓練好的帶有詞性的BERT(Bidirectional Encoder Representation fromTransformers，基于Transformer的雙向編碼器表征)雙向語言模型對N-best lists進行重打分；從N-best lists中選擇得分最高的結果作為最終的識別結果。

一種可能的實現方式中，所述方法還包括預先訓練帶有詞性的BERT雙向語言模型的訓練步驟，該訓練步驟具體包括：對訓練用的文本語料進行預處理；通過分詞工具進行分詞和詞性標注，獲取文本語料中的詞組和對應的詞性，然后利用B、I、E、S四個標簽與詞性進行組合，對各詞組的詞性進行進一步分配；將文本語料的文本信息和詞性信息進行相同的掩膜處理；對掩膜處理后的文本信息的詞向量和詞性信息的詞向量進行平均加權求和，然后輸入到網絡中訓練得到帶有詞性的BERT雙向語言模型；其中，在訓練BERT雙向語言模型過程中，禁用預測下一句NSP任務，僅保留通過掩膜方式訓練語言模型的Mask LM任務。

一種可能的實現方式中，所述使用訓練好的帶有詞性的BERT雙向語言模型對N-best lists進行重打分，包括：對N-best lists中的每個結果所組成的句子，通過分詞工具求出句子中每個詞的詞性，然后利用B、I、E、S四個標簽與詞性進行組合來進一步劃分出每個字的詞性；采用基于滑動窗口的輸入樣本方式和逐字掩膜的編碼方式，對每個句子構造輸入樣本并進行編碼處理，然后輸入到BERT雙向語言模型；經由BERT雙向語言模型計算得出每個句子的概率和得分，完成對N-best lists的重打分。