[發明專利]視頻字幕翻譯方法、系統、電子設備及可讀存儲介質

有效

• 申請號: 202011406542.0
• 申請日: 2020-12-04
• 公開（公告）號: CN112580446B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 周玉
• 申請（專利權）人: 北京中科凡語科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/62;G06F40/58
• 代理公司: 北京庚致知識產權代理事務所(特殊普通合伙) 11807
• 代理人: 李曉輝;李偉波

1.一種視頻字幕翻譯方法，其特征在于，包括：

根據預設幀率對視頻數據進行視頻幀抽取，得到視頻幀圖像，判斷當前視頻幀圖像是否為視頻關鍵幀；當所述當前視頻幀圖像為視頻關鍵幀時，以當前視頻幀圖像作為視頻關鍵幀；當所述當前視頻幀圖像不是視頻關鍵幀時，選擇當前視頻幀圖像的前一視頻幀圖像或者后一視頻幀圖像作為視頻關鍵幀，并獲取視頻關鍵幀中的字幕區域圖片；

對所述字幕區域圖片進行文字識別，得到字幕區域圖片所對應的字幕文字內容，翻譯該字幕文字內容，獲得譯文字幕；

根據字幕文字內容的參數是否發生變化，獲取字幕轉換處的第一視頻字幕轉換幀和第二視頻字幕轉換幀，其中，所述第一視頻字幕轉換幀包括字幕轉換之前的字幕文字內容，所述第二視頻字幕轉換幀包括字幕轉換之后的字幕文字內容；以及

從第一視頻字幕轉換幀向前查找上一個視頻字幕轉換幀，向所述第一視頻字幕轉換幀、上一個視頻字幕轉換幀以及所述第一視頻字幕轉換幀和上一個視頻字幕轉換幀之間的視頻數據的所有視頻幀回填第一內容；從所述第二視頻字幕轉換幀向后查找下一個視頻字幕轉換幀，向所述第二視頻字幕轉換幀、下一個視頻字幕轉換幀以及所述第二視頻字幕轉換幀和下一個視頻字幕轉換幀之間視頻數據的所有視頻幀回填第二內容；

其中，所述第一內容為字幕轉換之前的字幕文字內容的譯文字幕，所述第二內容為字幕轉換之后的字幕文字內容的譯文字幕；

其中，判斷當前視頻幀圖像是否為視頻關鍵幀包括：

根據當前視頻幀圖像獲取當前視頻幀圖像的二值化邊緣直方圖；并且根據當前視頻幀圖像的前一視頻幀圖像獲取前一視頻幀圖像的二值化邊緣直方圖，和/或，根據當前視頻幀圖像的后一視頻幀圖像獲取后一視頻幀圖像的二值化邊緣直方圖；

根據當前視頻幀圖像的二值化邊緣直方圖和前一視頻幀圖像的二值化邊緣直方圖得到第一幀間差值矩陣；根據當前視頻幀圖像的二值化邊緣直方圖和后一視頻幀圖像的二值化邊緣直方圖得到第二幀間差值矩陣；

根據第一幀間差值矩陣獲得第一幀間差值矩陣的元素和，根據第二幀間差值矩陣獲得第二幀間差值矩陣的元素和；以及

當第一幀間差值矩陣的元素和或者第二幀間差值矩陣的元素和大于等于預設閾值時，將該當前視頻幀圖像作為視頻關鍵幀；當第一幀間差值矩陣的元素和和第二幀間差值矩陣的元素和均小于預設閾值時，選擇當前視頻幀圖像的前一視頻幀圖像或后一視頻幀圖像作為視頻關鍵幀；

其中，根據字幕文字的參數是否發生變化，獲取字幕轉換處的第一視頻字幕轉換幀和第二視頻字幕轉換幀包括：

計算相鄰視頻關鍵幀的字幕文字內容的編輯距離；判斷該編輯距離是否大于等于編輯距離閾值；

當相鄰視頻關鍵幀的字幕文字內容的編輯距離小于編輯距離閾值時，判定所述相鄰視頻關鍵幀中的字幕文字內容相同，去除相鄰視頻關鍵幀中的一個相鄰視頻關鍵幀；當相鄰視頻關鍵幀的字幕文字內容的編輯距離大于編輯距離閾值時，判定所述相鄰視頻關鍵幀字幕文字內容不相同，根據字幕文字內容的變化時的位置，獲取字幕轉換處的第一視頻字幕轉換幀和第二視頻字幕轉換幀；

根據字幕文字內容的變化時的位置，獲取字幕轉換處的第一視頻字幕轉換幀和第二視頻字幕轉換幀包括：

以視頻時間軸為標準，將相鄰的視頻關鍵幀分為前視頻關鍵幀和后視頻關鍵幀；

獲取前視頻關鍵幀和后視頻關鍵幀之間的視頻數據的所有視頻幀，并且選擇所述相鄰視頻關鍵幀之間的視頻數據的所有視頻幀中的中間位置處的視頻幀作為中間視頻幀；

計算中間視頻幀和前視頻關鍵幀的字幕區域差值矩陣，得到前字幕區域差值矩陣；并且計算中間視頻幀和后視頻關鍵幀的字幕區域差值矩陣，得到后字幕區域差值矩陣；

比較前字幕區域差值矩陣的元素和和后字幕區域差值矩陣的元素和；當前字幕區域差值矩陣的元素和大于后字幕區域差值矩陣的元素和時，將中間視頻幀作為后視頻關鍵幀；當前字幕區域差值矩陣的元素和小于后字幕區域差值矩陣的元素和時，將中間視頻幀作為前視頻關鍵幀；

重復執行，直至重新選擇的中間視頻幀與前視頻關鍵幀和/或后視頻關鍵幀相鄰；

判斷所述重新選擇的中間視頻幀與該重新選擇的中間視頻幀的前一幀視頻幀和后一幀視頻幀的內容是否相同；當該重新選擇的中間視頻幀與該重新選擇的中間視頻幀的前一幀視頻幀的內容相同時；以所述重新選擇的中間視頻幀作為第一視頻字幕轉換幀，以所述重新選擇的中間視頻幀的后一幀視頻幀作為第二視頻字幕轉換幀；當該重新選擇的中間視頻幀與該重新選擇的中間視頻幀的后一幀視頻幀的內容相同時；以所述重新選擇的中間視頻幀的前一幀視頻幀作為第一視頻字幕轉換幀；以所述重新選擇的中間視頻幀作為第二視頻字幕轉換幀。