[發明專利]一種語音轉寫方法、裝置、設備及可讀存儲介質

在審

• 申請號: 201810516113.5
• 申請日: 2018-05-25
• 公開（公告）號: CN108845979A
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 高建清;王智國;胡國平;胡郁;劉慶峰
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F17/24
• 分類號: G06F17/24;G10L15/26
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王雨;王寶筠

1.一種語音轉寫方法，其特征在于，包括：

獲取語音數據；

對所述語音數據進行轉寫，得到轉寫文本；

根據所述轉寫文本的語義信息及停頓信息，對所述轉寫文本進行編輯操作，得到編輯后轉寫文本，編輯后轉寫文本包含標點。

2.根據權利要求1所述的方法，其特征在于，還包括：

根據所述編輯后轉寫文本包含的標點，從所述編輯后轉寫文本中確定輸出內容。

3.根據權利要求1所述的方法，其特征在于，所述根據所述轉寫文本的語義信息及停頓信息，對所述轉寫文本進行編輯操作，得到編輯后轉寫文本，編輯后轉寫文本包含標點，包括：

根據所述轉寫文本的語義信息及停頓信息，確定所述轉寫文本的斷句點及需添加的標點；

在所述轉寫文本中確定的斷句點處添加對應的標點，得到編輯后轉寫文本。

4.根據權利要求3所述的方法，其特征在于，所述根據所述轉寫文本的語義信息及停頓信息，對所述轉寫文本進行編輯操作，得到編輯后轉寫文本，編輯后轉寫文本包含標點，還包括：

根據所述轉寫文本的語義信息及停頓信息，對所述轉寫文本進行文字順滑處理。

5.根據權利要求3所述的方法，其特征在于，所述根據所述轉寫文本的語義信息及停頓信息，確定所述轉寫文本的斷句點及需添加的標點，以及在所述轉寫文本中確定的斷句點處添加對應的標點，得到編輯后轉寫文本，包括：

獲取所述轉寫文本中每個編輯單元的向量表達及每個編輯單元的停頓標記特征，編輯單元的停頓標記特征表征編輯單元后是否有停頓；

將所述轉寫文本中每個編輯單元的向量表達及停頓標記特征輸入預置的第一文本編輯模型，得到輸出的編輯后轉寫文本；

所述第一文本編輯模型為，預先以文本訓練數據包含編輯單元的向量表達及停頓標記特征為樣本，以對所述文本訓練數據中斷句點處添加標點后的編輯后文本訓練數據為樣本標簽進行訓練得到。

6.根據權利要求4所述的方法，其特征在于，根據所述轉寫文本的語義信息及停頓信息，對所述轉寫文本進行文字順滑處理、確定斷句點及需添加的標點，以及在轉寫文本中確定的斷句點處添加對應的標點，得到編輯后轉寫文本的過程，包括：

獲取所述轉寫文本中每個編輯單元的向量表達及每個編輯單元的停頓標記特征，編輯單元的停頓標記特征表征編輯單元后是否有停頓；

將所述轉寫文本中每個編輯單元的向量表達及停頓標記特征輸入預置的第二文本編輯模型，得到輸出的編輯后轉寫文本；

所述第二文本編輯模型為，預先以文本訓練數據包含編輯單元的向量表達及停頓標記特征為樣本，以對所述文本訓練數據進行文字順滑及在斷句點處添加標點后的編輯后文本訓練數據為樣本標簽進行訓練得到。

7.根據權利要求6所述的方法，其特征在于，所述將所述轉寫文本中每個編輯單元的向量表達及停頓標記特征輸入預置的第二文本編輯模型，得到輸出的編輯后轉寫文本，包括：

將所述轉寫文本中每個編輯單元的向量表達及停頓標記特征輸入基于注意力機制的編解碼類型的第二文本編輯模型；

通過第二文本編輯模型的編碼層，對所述轉寫文本中每個編輯單元的向量表達及停頓標記特征進行編碼，得到編碼后隱層特征；

通過第二文本編輯模型的注意力層，對所述編碼后隱層特征進行系數線性加權，得到當前時刻的加權后隱層特征；

通過第二文本編輯模型的解碼層，將所述當前時刻的加權后隱層特征及上一時刻解碼層的輸出作為當前時刻解碼層的輸入，當前時刻解碼層的輸出作為編輯后轉寫文本。

8.根據權利要求7所述的方法，其特征在于，還包括：

通過第二文本編輯模型的注意力層，計算當前時刻的加權后隱層特征及當前時刻之前的若干時刻的加權后隱層特征的相關性殘差，并將當前時刻的加權后隱層特征與所述相關性殘差的差值，作為更新后的當前時刻的加權后隱層特征。