[發明專利]視頻字幕翻譯方法、系統、電子設備及可讀存儲介質

有效

• 申請號: 202011406542.0
• 申請日: 2020-12-04
• 公開（公告）號: CN112580446B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 周玉
• 申請（專利權）人: 北京中科凡語科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/62;G06F40/58
• 代理公司: 北京庚致知識產權代理事務所(特殊普通合伙) 11807
• 代理人: 李曉輝;李偉波

本公開提供了視頻字幕翻譯方法，包括：獲取視頻關鍵幀中的字幕區域圖片；對字幕區域圖片進行文字識別，獲得譯文字幕；獲取字幕轉換處的第一視頻字幕轉換幀和第二視頻字幕轉換幀；以及向第一視頻字幕轉換幀、上一個視頻字幕轉換幀以及第一視頻字幕轉換幀和上一個視頻字幕轉換幀之間的視頻數據的所有視頻幀回填第一內容；向第二視頻字幕轉換幀、下一個視頻字幕轉換幀以及第二視頻字幕轉換幀和下一個視頻字幕轉換幀之間視頻數據的所有視頻幀回填第二內容，其中，第一內容為字幕轉換之前的字幕文字內容的譯文字幕，第二內容為字幕轉換之后的字幕文字內容的譯文字幕。本公開還提供了一種視頻字幕翻譯系統、電子設備以及可讀存儲介質。

技術領域

本公開涉及一種視頻字幕翻譯方法、系統、電子設備及可讀存儲介質。

背景技術

視頻字幕翻譯是輸入一段帶有字幕的源語言視頻，將其翻譯成指定目標語言的一種技術。視頻字幕翻譯技術是一項涉及計算機視覺和自然語言處理的綜合性技術，其一般包括識別視頻字幕、翻譯識別的視頻字幕以及將翻譯字幕回填。

但是，一段十分鐘幀率為30fps的視頻，共具有18000幀圖片，如果對視頻中每一幀圖片都重復上述步驟，將會耗費很多時間。

而且，現有技術中的視頻字幕翻譯也很難實現譯后視頻的精準回填。

發明內容

為了解決上述技術問題中的至少一個，本公開提供了一種視頻字幕翻譯方法、系統、電子設備及存儲介質。

根據本公開的一個方面，提供了一種視頻字幕翻譯方法，其包括：

根據預設幀率對視頻數據進行視頻幀抽取，得到視頻幀圖像，判斷當前視頻幀圖像是否為視頻關鍵幀；當所述當前視頻幀圖像為視頻關鍵幀時，以當前視頻幀圖像作為視頻關鍵幀；當所述當前視頻幀圖像不是視頻關鍵幀時，選擇當前視頻幀圖像的前一視頻幀圖像或者后一視頻幀圖像作為視頻關鍵幀，并獲取視頻關鍵幀中的字幕區域圖片；

對所述字幕區域圖片進行文字識別，得到字幕區域圖片所對應的字幕文字內容，翻譯該字幕文字內容，獲得譯文字幕；

根據字幕文字內容的參數是否發生變化，獲取字幕轉換處的第一視頻字幕轉換幀和第二視頻字幕轉換幀，其中，所述第一視頻字幕轉換幀包括字幕轉換之前的字幕文字內容，所述第二視頻字幕轉換幀包括字幕轉換之后的字幕文字內容；以及

從第一視頻字幕轉換幀向前查找上一個視頻字幕轉換幀，向所述第一視頻字幕轉換幀、上一個視頻字幕轉換幀以及所述第一視頻字幕轉換幀和上一個視頻字幕轉換幀之間的視頻數據的所有視頻幀回填第一內容；從所述第二視頻字幕轉換幀向后查找下一個視頻字幕轉換幀，向所述第二視頻字幕轉換幀、下一個視頻字幕轉換幀以及所述第二視頻字幕轉換幀和下一個視頻字幕轉換幀之間視頻數據的所有視頻幀回填第二內容；

其中，所述第一內容為字幕轉換之前的字幕文字內容的譯文字幕，所述第二內容為字幕轉換之后的字幕文字內容的譯文字幕。

根據本公開的至少一個實施方式的視頻字幕翻譯方法，還包括：當視頻數據的所有視頻幀均以譯文字幕回填后，使用回填譯文字幕后的視頻幀生成字幕翻譯后的視頻，并輸出該字幕翻譯后的視頻。

根據本公開的至少一個實施方式的視頻字幕翻譯方法，判斷當前視頻幀圖像是否為視頻關鍵幀包括：

根據當前視頻幀圖像獲取當前視頻幀圖像的二值化邊緣直方圖；并且根據當前視頻幀圖像的前一視頻幀圖像獲取前一視頻幀圖像的二值化邊緣直方圖，和/或，根據當前視頻幀圖像的后一視頻幀圖像獲取后一視頻幀圖像的二值化邊緣直方圖；

根據當前視頻幀圖像的二值化邊緣直方圖和前一視頻幀圖像的二值化邊緣直方圖得到第一幀間差值矩陣；根據當前視頻幀圖像的二值化邊緣直方圖和后一視頻幀圖像的二值化邊緣直方圖得到第二幀間差值矩陣；