[發明專利]視頻字幕的處理方法、裝置、設備和存儲介質

有效

• 申請號: 202110168920.4
• 申請日: 2021-02-07
• 公開（公告）號: CN112995749B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 蘇再卿;焦少慧;張清源;趙世杰;詹亙
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: H04N21/435
• 分類號: H04N21/435;H04N21/439;H04N21/44;H04N21/4402;H04N21/485;H04N21/488;H04N21/8547;G10L15/22;G10L15/26;G06V20/62;G06T5/00;G06T7/13
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

本發明公開了一種視頻字幕的處理方法、裝置、設備和存儲介質。該方法包括：確定原始視頻中各視頻幀的字幕區域，并識別所述字幕區域內的字幕信息，得到第一候選字幕；對所述原始視頻的音頻信息進行語音識別，得到第二候選字幕；根據所述第一候選字幕和所述第二候選字幕，生成目標字幕；將所述目標字幕和所述原始視頻的視頻數據結合，生成包含所述目標字幕的目標視頻。在對原始視頻的字幕進行處理的過程中，不僅結合了原始視頻中字幕區域內的原始字幕信息，還結合了原始視頻中的音頻信息，即利用多種不同模態的信息來生成目標字幕，使得經過字幕處理后的目標視頻的字幕與實際更相符，從而提高了字幕信息的準確性。

技術領域

本發明實施例涉及視頻處理技術領域，尤其涉及一種視頻字幕的處理方法、裝置、設備和存儲介質。

背景技術

隨著互聯網技術的不斷發展，對于視頻的二次創作的需求越來越廣泛。例如，老電影的字幕泛白，導致用戶無法看清字幕，此時需要對老電影的字幕進行二次處理。因此，為了滿足用戶的需求，對于視頻字幕進行處理是很有必要的。但是，目前一些常規視頻字幕的處理方法較為粗獷，往往導致最終得到的字幕與實際不符，準確性較低。

發明內容

針對傳統技術導致最終得到的字幕與實際不符，準確性較低的技術問題，本發明提供一種視頻字幕的處理方法、裝置、設備和存儲介質。

第一方面，本發明實施例提供一種視頻字幕的處理方法，包括：

確定原始視頻中各視頻幀的字幕區域，并識別所述字幕區域內的字幕信息，得到第一候選字幕；

對所述原始視頻的音頻信息進行語音識別，得到第二候選字幕；

根據所述第一候選字幕和所述第二候選字幕，生成目標字幕；

將所述目標字幕和所述原始視頻的視頻數據結合，生成包含所述目標字幕的目標視頻。

第二方面，本發明實施例提供一種視頻字幕的處理裝置，包括：

第一識別模塊，用于確定原始視頻中各視頻幀的字幕區域，并識別所述字幕區域內的字幕信息，得到第一候選字幕；

第二識別模塊，用于對所述原始視頻的音頻信息進行語音識別，得到第二候選字幕；

字幕生成模塊，用于根據所述第一候選字幕和所述第二候選字幕，生成目標字幕；

視頻生成模塊，用于將所述目標字幕和所述原始視頻的視頻數據結合，生成包含所述目標字幕的目標視頻。

第三方面，本發明實施例提供一種視頻字幕的處理設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現本發明實施例第一方面提供的視頻字幕的處理方法的步驟。

第四方面，本發明實施例提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現本發明實施例第一方面提供的視頻字幕的處理方法的步驟。

本發明實施例提供的視頻字幕的處理方法、裝置、設備和存儲介質，在確定原始視頻中各視頻幀的字幕區域之后，識別各字幕區域內的字幕信息，得到第一候選字幕，并對原始視頻的音頻信息進行語音識別，得到第二候選字幕，接著，根據第一候選字幕和第二候選字幕生成目標字幕，再將目標字幕和原始視頻的視頻數據結合，生成包含該目標字幕的目標視頻。在對原始視頻的字幕進行處理的過程中，不僅結合了原始視頻中字幕區域內的原始字幕信息，還結合了原始視頻中的音頻信息，即利用多種不同模態的信息來生成目標字幕，使得經過字幕處理后的目標視頻的字幕與實際更相符，從而提高了字幕信息的準確性。

附圖說明

結合附圖并參考以下具體實施方式，本公開各實施例的上述和其他特征、優點及方面將變得更加明顯。貫穿附圖中，相同或相似的附圖標記表示相同或相似的元素。應當理解附圖是示意性的，原件和元素不一定按照比例繪制。