[發明專利]語音識別后處理方法和系統及相關設備

在審

• 申請號: 202011476615.3
• 申請日: 2020-12-15
• 公開（公告）號: CN112634878A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 黃石磊;劉軼;程剛
• 申請（專利權）人: 深港產學研基地（北京大學香港科技大學深圳研修院）;北京大學深圳研究院
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/183;G10L15/19;G10L15/22
• 代理公司: 深圳市萬商天勤知識產權事務所(普通合伙) 44279
• 代理人: 羅建平

1.一種語音識別后處理方法，其特征在于，包括：

從語音識別系統針對輸入語音進行第一次解碼產生的詞圖lattice中，提取前N個最好的識別結果N-bestlists；

使用訓練好的帶有詞性的BERT雙向語言模型對N-best lists進行重打分；

從N-bestlists中選擇得分最高的結果作為最終的識別結果。

2.根據權利要求1所述的方法，其特征在于，還包括預先訓練帶有詞性的BERT雙向語言模型的訓練步驟，該訓練步驟具體包括：

對訓練用的文本語料進行預處理；

通過分詞工具進行分詞和詞性標注，獲取文本語料中的詞組和對應的詞性，然后利用B、I、E、S四個標簽與詞性進行組合，對各詞組的詞性進行進一步分配；

將文本語料的文本信息和詞性信息進行相同的掩膜處理；

對掩膜處理后的文本信息的詞向量和對應詞性信息的詞向量進行平均加權求和，訓練得到帶有詞性的BERT雙向語言模型；

其中，在訓練BERT雙向語言模型過程中，禁用預測下一句NSP任務，僅保留通過掩膜方式訓練語言模型的Mask LM任務。

3.根據權利要求1或2所述的方法，其特征在于，所述使用訓練好的帶有詞性的BERT雙向語言模型對N-bestlists進行重打分，包括：

對N-bestlists中的每個結果所組成的句子，通過分詞工具求出句子中每個詞的詞性，然后利用B、I、E、S四個標簽與詞性進行組合來進一步劃分出每個字的詞性；

采用基于滑動窗口的輸入樣本方式和逐字掩膜的編碼方式，對每個句子構造輸入樣本并進行編碼處理，然后輸入到BERT雙向語言模型；

經由BERT雙向語言模型計算得出每個句子的概率和得分，完成對N-best lists的重打分。

4.根據權利要求3所述的方法，其特征在于，所述的采用基于滑動窗口的輸入樣本方式和逐字掩膜的編碼方式，對每個句子構造輸入樣本并進行編碼處理，然后輸入到BERT雙向語言模型，包括：

設置長度為max_length＝2M的滑動窗口，M為正整數；

如果句子的長度不超過max_length，則對整個句子采用逐字掩膜的方式構造輸入樣本，進行編碼處理后，構造成一個batch，輸入到BERT雙向語言模型；

如果句子的長度超過max_length，則通過從句子的開頭以步長M向后移動滑動窗口，依次提取每個滑動窗口內的句子內容，如果當前滑動窗口內的所有字都是首次被處理，則從第一個字開始采用逐字掩膜的方式構造輸入樣本，如果當前滑動窗口內的前M個字已在之前的滑動窗口內被處理，則從第M+1個字開始采用逐字掩膜的方式構造輸入樣本，最后對該句子的全部輸入樣本進行編碼處理后構造成一個batch，輸入到BERT雙向語言模型。