[發明專利]一種視頻轉換方法及裝置

有效

• 申請號: 202010626305.9
• 申請日: 2020-07-01
• 公開（公告）號: CN111726621B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 張浩海;梁利平;王志君;洪欽智
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: H04N19/172
• 分類號: H04N19/172;H04N19/30;H04N19/40;H04N19/42
• 代理公司: 北京知迪知識產權代理有限公司 11628
• 代理人: 周娟

1.一種視頻轉換方法，其特征在于，包括：

采用半監督生成式對抗網絡對原始視頻和中間幀進行處理，獲得轉換后視頻；所述轉換后視頻含有的各個視頻幀之間具有光流約束；所述中間幀是位于所述原始視頻含有的第一幀視頻至最后一幀視頻之間的視頻幀；

所述中間幀包括含有映射關系的未標注和標注的中間幀；所述原始視頻包括的各個視頻幀為未標注視頻；所述中間幀為所述原始視頻所含有的奇數幀視頻；

所述采用半監督生成式對抗網絡對原始視頻和中間幀進行處理，獲得轉換后視頻幀包括：

向所述半監督生成式對抗網絡并行輸入所述原始視頻和中間幀；

利用所述半監督生成式對抗網絡對所述原始視頻和中間幀進行圖像壓縮處理、殘差處理和解壓縮處理，獲得生成視頻、光流圖和光流掩膜；

利用所述半監督生成式對抗網絡對所述生成視頻、光流圖和光流掩膜進行分層合并方式處理，獲得轉換后視頻；

所述采用所述分層合并方式對所述生成視頻、光流圖和光流掩膜處理，獲得轉換后視頻包括：

采用所述半監督生成式對抗網絡根據所述光流圖和所述中間幀生成光流扭曲圖；

采用所述半監督生成式對抗網絡利用所述光流掩膜處理所述光流扭曲圖和所述生成視頻，獲得轉換后視頻。

2.根據權利要求1所述的視頻轉換方法，其特征在于，所述半監督生成式對抗網絡包括生成器和判別器。

3.根據權利要求2所述的視頻轉換方法，其特征在于，所述生成器滿足分層合并模型函數；

所述分層合并模型函數為：

其中，☉表示點積操作；表示光流掩模，通過光流掩模來選擇光流圖中像素值的來源；M表示有標注中間幀；i為視頻幀數；表示視頻幀；表示從有標注中間幀M到視頻幀的光流圖；W表示光流預測網絡；表示光流扭曲操作；表示生成視頻；

所述生成器滿足光流損失函數；

所述光流損失函數為：

其中，i為視頻幀數；表示視頻幀；M表示有標注中間幀；表示從有標注中間幀M到視頻幀的光流圖；表示原始視頻和中間幀的真實光流；表示光流圖與原始視頻和中間幀的真實光流之間的誤差；表示使用有標注中間幀M和光流圖獲得的光流扭曲圖和真實的視頻幀之間的誤差。

4.根據權利要求2所述的視頻轉換方法，其特征在于，所述生成器包括m個第一卷積層、n個殘差層以及共享所述m個第一卷積層和所述n個殘差層的權重參數的a個反卷積層，m、n、a均大于等于2；所述判別器包括第二卷積層。

5.根據權利要求4所述的視頻轉換方法，其特征在于，

所述生成器的權重參數為隨機初始化的權重參數；所述隨機初始化的權重參數滿足符合均勻分布的隨機初始化的權重參數；或，

所述生成器的權重參數為預訓練的初始化權重參數，所述預訓練的初始化權重參數滿足符合均勻分布的預訓練的初始化權重參數。

6.根據權利要求2所述的視頻轉換方法，其特征在于，所述生成器的數量為兩個，所述判別器的數量為兩個。

7.根據權利要求2所述的視頻轉換方法，其特征在于，所述判別器中的真實置信度滿足特征值矩陣的表達式。

8.根據權利要求1所述的視頻轉換方法，其特征在于，所述半監督生成式對抗網絡的學習方式滿足：在訓練階段采用對抗損失方式學習標注樣本；在訓練階段采用循環損失方式學習無標注樣本。

9.根據權利要求8所述的視頻轉換方法，其特征在于，所述半監督生成式對抗網絡滿足對抗損失函數；

所述對抗損失函數為：

其中，s為Y視頻域的視頻幀數；i為X視頻域的視頻幀數；表示Y視頻域的判別器；表示Y視頻域的視頻幀；表示X視頻域到Y視頻域的轉換函數；M表示有標注中間幀；表示X視頻域內的視頻幀；

所述對抗損失函數表示最大化所述判別器判別正確的概率同時最小化通過所述生成器獲得的轉換后視頻被判別出來的概率。