[發(fā)明專利]一種字幕生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010719394.1
• 申請(qǐng)日: 2020-07-23
• 公開(kāi)（公告）號(hào): CN111901538B
• 公開(kāi)（公告）日: 2023-02-17
• 發(fā)明（設(shè)計(jì)）人: 曾衍;常為益;付平非;鄭起凡;林兆欽
• 申請(qǐng)（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): H04N5/278
• 分類號(hào): H04N5/278;H04N21/439;H04N21/488;H04N21/81
• 代理公司: 北京開(kāi)陽(yáng)星知識(shí)產(chǎn)權(quán)代理有限公司 11710
• 代理人: 王雪

1.一種字幕生成方法，其特征在于，所述方法包括：

響應(yīng)于針對(duì)目標(biāo)音視頻文件中至少一個(gè)音頻軌道的字幕生成觸發(fā)操作，分別對(duì)所述至少一個(gè)音頻軌道中每個(gè)音頻軌道上的音頻數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別，得到每個(gè)音頻軌道對(duì)應(yīng)的文字片段，其中，所述文字片段具有開(kāi)始顯示時(shí)間和結(jié)束顯示時(shí)間；

基于每個(gè)文字片段的所述開(kāi)始顯示時(shí)間，對(duì)每個(gè)音頻軌道對(duì)應(yīng)的文字片段進(jìn)行綜合排序；

判斷綜合排序后的相鄰文字片段中前一個(gè)文字片段的結(jié)束顯示時(shí)間是否晚于后一個(gè)文字片段的開(kāi)始顯示時(shí)間；

如果所述前一個(gè)文字片段的結(jié)束顯示時(shí)間晚于所述后一個(gè)文字片段的開(kāi)始顯示時(shí)間，則將所述前一個(gè)文字片段的結(jié)束顯示時(shí)間更新為所述后一個(gè)文字片段的開(kāi)始顯示時(shí)間，以使所述前一個(gè)文字片段的結(jié)束顯示時(shí)間不晚于所述后一個(gè)文字片段的開(kāi)始顯示時(shí)間；

基于時(shí)間軸對(duì)各個(gè)文字片段進(jìn)行合并，生成所述目標(biāo)音視頻文件的字幕。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述基于時(shí)間軸對(duì)每個(gè)文字片段進(jìn)行合并，生成所述目標(biāo)音視頻文件的字幕之前，還包括：

確定所述開(kāi)始顯示時(shí)間相同的文字片段中，所述結(jié)束顯示時(shí)間最晚的文字片段；

將所述開(kāi)始顯示時(shí)間相同的文字片段中，除所述結(jié)束顯示時(shí)間最晚的文字片段之外的其他文字片段刪除。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

響應(yīng)于針對(duì)所述字幕的調(diào)整操作，對(duì)所述字幕進(jìn)行更新；其中，所述調(diào)整操作包括增加操作、刪除操作或修改操作。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于每個(gè)音頻軌道對(duì)應(yīng)的文字片段，生成所述目標(biāo)音視頻文件的字幕之后，還包括：

基于所述目標(biāo)音視頻文件的變速播放倍數(shù)，對(duì)所述目標(biāo)音視頻文件的字幕進(jìn)行顯示時(shí)間壓縮。

5.一種字幕生成裝置，其特征在于，所述裝置包括：

識(shí)別模塊，用于響應(yīng)于針對(duì)目標(biāo)音視頻文件中至少一個(gè)音頻軌道的字幕生成觸發(fā)操作，分別對(duì)所述至少一個(gè)音頻軌道中每個(gè)音頻軌道上的音頻數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別，得到每個(gè)音頻軌道對(duì)應(yīng)的文字片段，其中，所述文字片段具有開(kāi)始顯示時(shí)間和結(jié)束顯示時(shí)間；

生成模塊，用于基于每個(gè)音頻軌道對(duì)應(yīng)的文字片段，生成所述目標(biāo)音視頻文件的字幕；所述生成模塊，包括：

排序子模塊，用于基于每個(gè)文字片段的所述開(kāi)始顯示時(shí)間，對(duì)每個(gè)音頻軌道對(duì)應(yīng)的文字片段進(jìn)行綜合排序；

判斷子模塊，用于判斷綜合排序后的相鄰文字片段中前一個(gè)文字片段的結(jié)束顯示時(shí)間是否晚于后一個(gè)文字片段的開(kāi)始顯示時(shí)間；

壓縮子模塊，用于在所述前一個(gè)文字片段的結(jié)束顯示時(shí)間晚于所述后一個(gè)文字片段的開(kāi)始顯示時(shí)間時(shí)，將所述前一個(gè)文字片段的結(jié)束顯示時(shí)間更新為所述后一個(gè)文字片段的開(kāi)始顯示時(shí)間，以使所述前一個(gè)文字片段的結(jié)束顯示時(shí)間不晚于所述后一個(gè)文字片段的開(kāi)始顯示時(shí)間；

生成子模塊，用于基于時(shí)間軸對(duì)各個(gè)文字片段進(jìn)行合并，生成所述目標(biāo)音視頻文件的字幕。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述裝置還包括：

確定模塊，用于確定所述開(kāi)始顯示時(shí)間相同的文字片段中，所述結(jié)束顯示時(shí)間最晚的文字片段；

刪除模塊，用于將所述開(kāi)始顯示時(shí)間相同的文字片段中，除所述結(jié)束顯示時(shí)間最晚的文字片段之外的其他文字片段刪除。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)所述指令在終端設(shè)備上運(yùn)行時(shí)，使得所述終端設(shè)備實(shí)現(xiàn)如權(quán)利要求1-4任一項(xiàng)所述的方法。

8.一種設(shè)備，其特征在于，包括：存儲(chǔ)器，處理器，及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如權(quán)利要求1-4任一項(xiàng)所述的方法。