[發明專利]視頻處理和字幕檢測模型的方法及裝置

有效

• 申請號: 202110732523.5
• 申請日: 2021-06-30
• 公開（公告）號: CN113361462B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 鄭賀
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/62;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種視頻處理方法，包括：

獲取待處理的視頻文件；

從所述視頻文件提取出視頻幀集合和音頻片段集合，其中，每個音頻片段對應一個視頻幀；

將所述視頻幀集合和所述音頻片段集合輸入預先訓練的字幕檢測模型，輸出僅保留字幕區域的圖像集合，其中，字幕檢測模型提取出各像素點的圖像特征和語音特征，然后再將各像素點的圖像特征和語音特征進行融合，得到融合特征，再根據像素點的融合特征判斷該像素點是否屬于字幕區域，將視頻幀中非字幕區域的像素值都設置為0，得到了僅保留字幕區域的圖像；

基于所述圖像集合確定出所述視頻幀集合中每個視頻幀的字幕區域。

2.根據權利要求1所述的方法，其中，所述方法還包括：

將目標視頻幀中的字幕區域進行擦除，得到殘缺圖像；

將所述殘缺圖像輸入圖像修復模型，得到無字幕的目標視頻幀。

3.根據權利要求1所述的方法，其中，所述方法還包括：

將目標視頻幀對應的僅保留字幕區域的圖像進行二值化處理，得到字幕內容的掩碼圖；

基于所述掩碼圖將目標視頻幀中的字幕內容進行擦除，得到殘缺圖像；

將所述殘缺圖像輸入圖像修復模型，得到無字幕的目標視頻幀。

4.根據權利要求2或3所述的方法，其中，所述方法還包括：

在所述無字幕的目標視頻幀中添加重新編輯后的字幕。

5.根據權利要求1所述的方法，其中，所述方法還包括：

對于所述圖像集合中的每張圖像，從該圖像的字幕區域識別出字幕內容；

記錄每條字幕內容對應的視頻幀在所述視頻文件中位置。

6.一種訓練字幕檢測模型的方法，包括：

獲取樣本集，其中，所述樣本集中的樣本包括樣本圖像、樣本音頻以及樣本圖像上字幕區域的標注信息；

執行以下訓練步驟：從所述樣本集中選取樣本；將選取的樣本中的樣本圖像和樣本音頻輸入字幕檢測模型，得到預測的字幕區域；基于預測的字幕區域與選取的樣本的標注信息計算損失值；若所述損失值小于目標值，則確定出所述字幕檢測模型訓練完成。

7.根據權利要求6所述的方法，其中，所述方法還包括：

若所述損失值不小于目標值，則調整所述字幕檢測模型中的相關參數，繼續執行上述訓練步驟。

8.一種視頻處理裝置，包括：

獲取單元，被配置成獲取待處理的視頻文件；

提取單元，被配置成從所述視頻文件提取出視頻幀集合和音頻片段集合，其中，每個音頻片段對應一個視頻幀；

檢測單元，被配置成將所述視頻幀集合和所述音頻片段集合輸入預先訓練的字幕檢測模型，輸出僅保留字幕區域的圖像集合，其中，字幕檢測模型提取出各像素點的圖像特征和語音特征，然后再將各像素點的圖像特征和語音特征進行融合，得到融合特征，再根據像素點的融合特征判斷該像素點是否屬于字幕區域，將視頻幀中非字幕區域的像素值都設置為0，得到了僅保留字幕區域的圖像；

確定單元，被配置成基于所述圖像集合確定出所述視頻幀集合中每個視頻幀的字幕區域。

9.根據權利要求8所述的裝置，其中，所述裝置還包括編輯單元，被配置成：

將目標視頻幀中的字幕區域進行擦除，得到殘缺圖像；

將所述殘缺圖像輸入圖像修復模型，得到無字幕的目標視頻幀。

10.根據權利要求8所述的裝置，其中，所述裝置還包括編輯單元，被配置成：

將目標視頻幀對應的僅保留字幕區域的圖像進行二值化處理，得到字幕內容的掩碼圖；

基于所述掩碼圖將目標視頻幀中的字幕內容進行擦除，得到殘缺圖像；

將所述殘缺圖像輸入圖像修復模型，得到無字幕的目標視頻幀。

11.根據權利要求9或10所述的裝置，其中，所述編輯單元進一步被配置成：

在所述無字幕的目標視頻幀中添加重新編輯后的字幕。