[發明專利]一種基于深度學習的字幕疊加截圖的實現方法

有效

• 申請號: 201810181581.1
• 申請日: 2018-03-05
• 公開（公告）號: CN108347643B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 王煒;謝超平;陳曉軍;羅天;楊益紅;羅明利
• 申請（專利權）人: 成都索貝數碼科技股份有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N21/435;H04N21/488;H04N21/845
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 李龍

本發明公開了一種基于深度學習的字幕疊加截圖的實現方法，屬于媒體技術領域，本發明包括以下步驟：在視頻上選擇字幕疊加截圖的視頻區間；在所述視頻區間的每一幀圖像上定位并剪裁出字幕；對所有字幕進行分段并抽取每段字幕中的關鍵幀；對所述關鍵幀進行相似度計算，利用計算結果進行對比去重，得到最終字幕；將視頻區間的首幀畫面與最終字幕依次進行拼接，得到字幕疊加截圖，采用該方法出錯率低、處理效率高，自動化程度高。

技術領域

本發明涉及媒體技術領域，具體涉及一種基于深度學習的字幕疊加截圖的實現方法。

背景技術

二十一世紀以來，互聯網獲取信息便捷高效、信息傳播范圍廣的優點使得互聯網如雨后春筍般遍及中國的各個角落。同時，手機行業的高速發展也使其進入了千家萬戶，目前人們使用移動終端進行網上沖浪已成為生活的新常態，因此廣電媒體行業占領互聯網這個輿論陣地的需求十分強烈。

當前互聯網中新聞訊息的展現方式高度多元化，包括GIF動圖、短視頻及字幕疊加截圖等，其中字幕疊加截圖正為時下熱門：它將多幅畫面的字幕部分拼接到同一畫面中，因此僅使用一張圖片就可分享視頻片段的精髓，而不再需要分享視頻鏈接，等待緩存。將這種新型便捷的字幕疊加截圖應用在互聯網(包括微信、微博、新聞客戶端以及門戶網站)新聞稿件上，用一張圖片將一整段的新聞解釋清楚，方便用戶快速獲得新聞關鍵內容，滿足了新聞媒體行業的訴求，也迎合了當前人們快節奏的生活方式。

現有技術中常用的字幕疊加截圖的方法主要分為以下三種：

1、利用photoshop、關圖秀秀等軟件手動生成字幕疊加截圖，需用戶自行截取多張字幕不同的視頻截圖再自行裁剪和拼接形成。這種方式有以下幾種不足：操作復雜性高，整個流程都是手動操作，步驟復雜，并且需要有一定的photoshop等軟件的使用基礎；不便管理，中間過程產生的素材多，而實際需要的僅為最后的字幕疊加圖；效率低，制作一張截圖所花費的時間依軟件熟練度而定，但總體偏高。這種方式操作復雜性高，中間過程產生的素材多，不便管理，效率也比較低。

2、利用拼接軟件半自動生成字幕疊加截圖，其中需要用戶自行截取多張字幕不同的視頻截圖，選定字幕位置，拼接軟件根據字幕位置，自動化去除多余畫面生成字幕疊加截圖。這種方法有以下幾種缺陷：自動化程度低，用戶仍需在視頻中手動截取畫面和選定字幕位置，手動處理的痛點依然存在；處理時間長，盡管裁剪和拼接步驟都交給了軟件，但最終總處理時間仍然較長；這種方式的復雜度有所降低，但手動截取字幕圖像仍無法滿足行業需求。

3、利用圖像識別和語音識別方法自動生成字幕疊加圖，此方法利用提供的視頻的入點出點信息以及人聲特征音色，判斷字幕疊加圖的起始位置和終點位置，獲取畫面中出現的多個字幕自動生成字幕疊加截圖。該方法相比于上述兩種方法已經有所改進，但仍存在以下的不足：正確率難保證，人聲音色特征的識別易受背景音的影響，可能造成過早結束和漏幀缺幀的現象；成品圖效果不佳，字幕片段的選取區域不穩定容易大小不一，且字幕段數目不確定，難以保證最終的疊加截圖美觀性。

發明內容

本發明的目的在于：提供一種基于深度學習的字幕疊加截圖的實現方法，解決了目前生成字幕疊加截圖自動化程度低、正確率低的技術問題。

本發明采用的技術方案如下：

一種基于深度學習的字幕疊加截圖的實現方法，包括以下步驟：

步驟1：在視頻上選擇字幕疊加截圖的視頻區間；

步驟2：在所述視頻區間的每一幀圖像上定位并剪裁出字幕；

步驟3：對所有字幕進行分段并抽取每段字幕中的關鍵幀；

步驟4：對所述關鍵幀進行相似度計算，利用計算結果進行對比去重，得到最終字幕；

步驟5：將視頻區間的首幀畫面與最終字幕依次進行拼接，得到字幕疊加截圖。