[發明專利]用于音頻的文字時間對齊方法、裝置、介質及電子設備

有效

• 申請號: 201910943417.4
• 申請日: 2019-09-30
• 公開（公告）號: CN110675896B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 蔡猛
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G11B27/10
• 分類號: G11B27/10
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曹寒梅

1.一種用于音頻的文字時間對齊方法，其特征在于，所述方法包括：

確定與音頻對應的分詞序列以及音節序列，其中，所述音節序列中的每個音節具有在所述音頻中對應的起始時刻和持續時長，所述分詞序列是對所述音頻進行語音識別得到的，所述音節序列是對所述音頻進行解碼并利用CTC算法處理得到的；

確定所述分詞序列中每一分詞在所述音節序列中對應的音節組合；

根據每一所述分詞在所述音節序列中對應的音節組合，以及所述音節序列中每個音節對應的起始時刻和持續時長，確定所述分詞序列中每個分詞在所述音頻中對應的起始時刻和結束時刻；

其中，所述根據每一所述分詞在所述音節序列中對應的音節組合，以及所述音節序列中每個音節對應的起始時刻和持續時長，確定所述分詞序列中每個分詞在所述音頻中對應的起始時刻和結束時刻，包括：

針對每一所述分詞，將該分詞對應音節組合中首個音節的起始時刻確定為該分詞在所述音頻中對應的起始時刻，以及，將從該分詞在所述音頻中對應的起始時刻開始、經過該分詞對應音節組合的總持續時長后的時刻確定為該分詞在所述音頻中對應的結束時刻。

2.根據權利要求1所述的方法，其特征在于，所述確定所述分詞序列中每一分詞在所述音節序列中對應的音節組合，包括：

根據第一分詞和預設音節字典，確定第一音節組合，所述預設音節字典用于指示分詞與音節之間的對應關系，以及，所述預設音節字典中每一個分詞對應有至少一種音節組合，所述第一音節組合為所述第一分詞在所述預設音節字典中對應的音節組合之一，其中，初始情況下，所述第一分詞為所述分詞序列中的第一個分詞；

以第一音節為起點，確定所述音節序列中是否存在與所述第一音節組合相同的第一目標音節組合，初始情況下，所述第一音節為所述音節序列的首個音節；

若存在所述第一目標音節組合，確定所述第一目標音節組合與所述第一分詞相對應；

將所述第一分詞在所述分詞序列中的下一分詞作為新的所述第一分詞、以及、將所述第一目標音節組合在所述音節序列中的下一音節作為新的所述第一音節，并返回所述根據第一分詞和所述預設音節字典，確定第一音節組合的步驟，直至所述第一分詞為所述分詞序列中的最后一個分詞。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

若不存在所述第一目標音節組合，將所述第一分詞在所述分詞序列中的下一分詞作為第二分詞，并根據所述第二分詞和所述預設音節字典，確定第二音節組合，所述第二音節組合為所述第二分詞在所述預設音節字典中對應的音節組合之一；

以第一音節為起點，確定所述音節序列中是否存在與所述第二音節組合相同的第二目標音節組合；

若存在所述第二目標音節組合、且所述第一音節至所述第二目標音節組合之前的音節數量小于預設閾值，確定所述第二目標音節組合與所述第二分詞相對應，并根據所述第一音節和所述第二目標音節組合確定與所述第一分詞對應的音節組合；

將所述第二分詞在所述分詞序列中的下一分詞作為新的所述第一分詞、并將所述第二目標音節組合在所述音節序列中的下一音節作為新的所述第一音節，并返回所述根據第一分詞和所述預設音節字典，確定第一音節組合的步驟，直至所述第一分詞為所述分詞序列中的最后一個分詞，其中，所述預設閾值大于零。

4.根據權利要求3所述的方法，其特征在于，所述根據所述第一音節和所述第二目標音節組合確定與所述第一分詞對應的音節組合，包括：

若所述第一音節至所述第二目標音節組合之前的音節數量為零，確定所述第一音節前、且與所述第一音節相鄰的音節組合與所述第一分詞相對應；

若所述第一音節至所述第二目標音節組合之前的音節數量大于零，確定所述音節序列中所述第一音節至所述第二目標音節組合之前的音節所構成的音節組合與所述第一分詞相對應。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

若不存在所述第二目標音節組合，或者，若所述第一音節至所述第二目標音節組合之前的音節數量大于或等于所述預設閾值，確定所述音節序列中所述第一音節至所述最后一個音節所構成的音節組合與所述分詞序列中所述第一分詞至最后一個分詞分別相對應。