[發明專利]語音轉寫方法、裝置、錄音設備和存儲介質

在審

• 申請號: 202110963345.7
• 申請日: 2021-08-20
• 公開（公告）號: CN113611311A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 王志軍;任曉寧;崔浩然;孔常青
• 申請（專利權）人: 天津訊飛極智科技有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/28;G11C7/16
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

1.一種語音轉寫方法，其特征在于，包括：

確定待轉寫音頻；

基于本地存儲的語音轉寫引擎，對所述待轉寫音頻進行離線語音轉寫，所述語音轉寫引擎的運算資源是基于所述待轉寫音頻的數據規格確定的。

2.根據權利要求1所述的語音轉寫方法，其特征在于，所述語音轉寫引擎的運算資源是基于如下步驟確定的：

基于所述待轉寫音頻的數據規格，以及設備能耗狀態和/或設備發熱狀態，或，基于所述待轉寫音頻的數據規格，確定所述語音轉寫引擎的資源占比；

基于所述資源占比，從設備計算資源中確定所述語音轉寫引擎的運算資源。

3.根據權利要求1或2所述的語音轉寫方法，其特征在于，所述數據規格是基于待轉寫音頻的數據量與存儲空間的存儲量確定的，所述存儲空間用于存儲所述待轉寫音頻。

4.根據權利要求1或2所述的語音轉寫方法，其特征在于，所述基于本地存儲的語音轉寫引擎，對所述待轉寫音頻進行離線語音轉寫，包括：

基于所述語音轉寫引擎中的聲學模型，編碼所述待轉寫音頻的聲學特征，并基于所述聲學特征確定第一轉寫結果；

基于所述語音轉寫引擎中的解碼模型，對所述聲學特征進行解碼，得到第二轉寫結果；

基于所述語音轉寫引擎，對所述第一轉寫結果和所述第二轉寫結果進行融合，得到所述待轉寫音頻的轉寫文本。

5.根據權利要求4所述的語音轉寫方法，其特征在于，所述聲學模型是基于樣本音頻，對原始聲學模型進行蒸餾訓練得到的。

6.根據權利要求5所述的語音轉寫方法，其特征在于，所述聲學模型是基于如下步驟訓練得到的：

基于所述原始聲學模型，確定所述樣本音頻的第一聲學特征概率分布；

基于訓練階段的聲學模型，確定所述樣本音頻的第二聲學特征概率分布；

基于所述第一聲學特征概率分布和所述第二聲學特征概率分布，確定蒸餾損失值；

基于所述蒸餾損失值，對所述訓練階段的聲學模型進行參數調整，得到所述聲學模型。

7.根據權利要求4所述的語音轉寫方法，其特征在于，所述基于所述語音轉寫引擎，對所述第一轉寫結果和所述第二轉寫結果進行融合，得到所述待轉寫音頻的轉寫文本，包括：

基于所述語音轉寫引擎中的文本生成模型，對所述第一轉寫結果和所述第二轉寫結果進行融合，得到所述待轉寫音頻的轉寫文本；

所述文本生成模型是基于樣本音頻和所述樣本音頻的樣本轉寫文本，聯合所述聲學模型和解碼模型訓練得到的。

8.一種語音轉寫裝置，其特征在于，包括：

音頻確定單元，用于確定待轉寫音頻；

語音轉寫單元，用于基于本地存儲的語音轉寫引擎，對所述待轉寫音頻進行離線語音轉寫，所述語音轉寫引擎的運算資源是基于所述待轉寫音頻的數據規格確定的。

9.一種錄音設備，包括拾音設備、存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述拾音設備用于錄制待轉寫音頻，所述處理器執行所述程序時實現如權利要求1至7任一項所述的語音轉寫方法的步驟。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述的語音轉寫方法的步驟。