[發(fā)明專利]用于音頻的文字時(shí)間對(duì)齊方法、裝置、介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910943417.4
• 申請(qǐng)日: 2019-09-30
• 公開（公告）號(hào): CN110675896B
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 蔡猛
• 申請(qǐng)（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G11B27/10
• 分類號(hào): G11B27/10
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 曹寒梅

本公開涉及一種用于音頻的文字時(shí)間對(duì)齊方法、裝置、介質(zhì)及電子設(shè)備。所述方法包括：確定與音頻對(duì)應(yīng)的分詞序列以及音節(jié)序列，其中，所述音節(jié)序列中的每個(gè)音節(jié)具有在所述音頻中對(duì)應(yīng)的起始時(shí)刻和持續(xù)時(shí)長；確定所述分詞序列中每一分詞在所述音節(jié)序列中對(duì)應(yīng)的音節(jié)組合；根據(jù)每一所述分詞在所述音節(jié)序列中對(duì)應(yīng)的音節(jié)組合，以及所述音節(jié)序列中每個(gè)音節(jié)對(duì)應(yīng)的起始時(shí)刻和持續(xù)時(shí)長，確定所述分詞序列中每個(gè)分詞在所述音頻中對(duì)應(yīng)的起始時(shí)刻和結(jié)束時(shí)刻。這樣，能夠準(zhǔn)確地實(shí)現(xiàn)音頻中文字的時(shí)間同步，并且，數(shù)據(jù)處理量小，能提升數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體地，涉及一種用于音頻的文字時(shí)間對(duì)齊方法、裝置、介質(zhì)及電子設(shè)備。

背景技術(shù)

目前，對(duì)于視頻語義搜索、視頻定位、視頻字幕添加等功能的需求越來越大，而這些功能依賴于對(duì)其音頻的處理。因而，在音頻處理的過程中，除了識(shí)別音頻得到與音頻相關(guān)的文字之外，還需要確定這些文字在音頻中何時(shí)出現(xiàn)。舉例來說，在對(duì)音頻進(jìn)行字幕添加操作時(shí)，需要知道哪一段字幕應(yīng)當(dāng)在何時(shí)出現(xiàn)。因此，應(yīng)當(dāng)明確文字與時(shí)間的對(duì)應(yīng)關(guān)系，也就是需要進(jìn)行文字時(shí)間對(duì)齊。

相關(guān)技術(shù)中，一般通過HMM(Hidden Markov Model，隱馬爾科夫模型)進(jìn)行語音識(shí)別。HMM在進(jìn)行語音識(shí)別時(shí)，其數(shù)據(jù)處理所需幀移小，數(shù)據(jù)處理量大。另外，在相關(guān)技術(shù)中，HMM還可以進(jìn)一步結(jié)合CTC(Connectionist temporal classification)算法進(jìn)行語音識(shí)別。利用CTC算法處理后其輸出數(shù)據(jù)在時(shí)間上并非一一對(duì)齊，在時(shí)間上存在誤差，準(zhǔn)確性不足。

發(fā)明內(nèi)容

提供該發(fā)明內(nèi)容部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識(shí)要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

根據(jù)本公開的第一方面，提供一種用于音頻的文字時(shí)間對(duì)齊方法，所述方法包括：

確定與音頻對(duì)應(yīng)的分詞序列以及音節(jié)序列，其中，所述音節(jié)序列中的每個(gè)音節(jié)具有在所述音頻中對(duì)應(yīng)的起始時(shí)刻和持續(xù)時(shí)長；

確定所述分詞序列中每一分詞在所述音節(jié)序列中對(duì)應(yīng)的音節(jié)組合；

根據(jù)每一所述分詞在所述音節(jié)序列中對(duì)應(yīng)的音節(jié)組合，以及所述音節(jié)序列中每個(gè)音節(jié)對(duì)應(yīng)的起始時(shí)刻和持續(xù)時(shí)長，確定所述分詞序列中每個(gè)分詞在所述音頻中對(duì)應(yīng)的起始時(shí)刻和結(jié)束時(shí)刻。

根據(jù)本公開的第二方面，提供一種用于音頻的文字時(shí)間對(duì)齊裝置，所述裝置包括：

第一確定模塊，用于確定與音頻對(duì)應(yīng)的分詞序列以及音節(jié)序列，其中，所述音節(jié)序列中的每個(gè)音節(jié)具有在所述音頻中對(duì)應(yīng)的起始時(shí)刻和持續(xù)時(shí)長；

第二確定模塊，用于確定所述分詞序列中每一分詞在所述音節(jié)序列中對(duì)應(yīng)的音節(jié)組合；

第三確定模塊，用于根據(jù)每一所述分詞在所述音節(jié)序列中對(duì)應(yīng)的音節(jié)組合，以及所述音節(jié)序列中每個(gè)音節(jié)對(duì)應(yīng)的起始時(shí)刻和持續(xù)時(shí)長，確定所述分詞序列中每個(gè)分詞在所述音頻中對(duì)應(yīng)的起始時(shí)刻和結(jié)束時(shí)刻。

根據(jù)本公開的第三方面，提供一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理裝置執(zhí)行時(shí)實(shí)現(xiàn)本公開第一方面所述方法的步驟。

根據(jù)本公開的第四方面，提供一種電子設(shè)備，包括：

存儲(chǔ)裝置，其上存儲(chǔ)有計(jì)算機(jī)程序；

處理裝置，用于執(zhí)行所述存儲(chǔ)裝置中的所述計(jì)算機(jī)程序，以實(shí)現(xiàn)本公開第一方面所述方法的步驟。