[發(fā)明專利]一種視頻轉(zhuǎn)換方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010626305.9
• 申請(qǐng)日: 2020-07-01
• 公開（公告）號(hào): CN111726621B
• 公開（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 張浩海;梁利平;王志君;洪欽智
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院微電子研究所
• 主分類號(hào): H04N19/172
• 分類號(hào): H04N19/172;H04N19/30;H04N19/40;H04N19/42
• 代理公司: 北京知迪知識(shí)產(chǎn)權(quán)代理有限公司 11628
• 代理人: 周娟

1.一種視頻轉(zhuǎn)換方法，其特征在于，包括：

采用半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)對(duì)原始視頻和中間幀進(jìn)行處理，獲得轉(zhuǎn)換后視頻；所述轉(zhuǎn)換后視頻含有的各個(gè)視頻幀之間具有光流約束；所述中間幀是位于所述原始視頻含有的第一幀視頻至最后一幀視頻之間的視頻幀；

所述中間幀包括含有映射關(guān)系的未標(biāo)注和標(biāo)注的中間幀；所述原始視頻包括的各個(gè)視頻幀為未標(biāo)注視頻；所述中間幀為所述原始視頻所含有的奇數(shù)幀視頻；

所述采用半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)對(duì)原始視頻和中間幀進(jìn)行處理，獲得轉(zhuǎn)換后視頻幀包括：

向所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)并行輸入所述原始視頻和中間幀；

利用所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)對(duì)所述原始視頻和中間幀進(jìn)行圖像壓縮處理、殘差處理和解壓縮處理，獲得生成視頻、光流圖和光流掩膜；

利用所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)對(duì)所述生成視頻、光流圖和光流掩膜進(jìn)行分層合并方式處理，獲得轉(zhuǎn)換后視頻；

所述采用所述分層合并方式對(duì)所述生成視頻、光流圖和光流掩膜處理，獲得轉(zhuǎn)換后視頻包括：

采用所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)根據(jù)所述光流圖和所述中間幀生成光流扭曲圖；

采用所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)利用所述光流掩膜處理所述光流扭曲圖和所述生成視頻，獲得轉(zhuǎn)換后視頻。

2.根據(jù)權(quán)利要求1所述的視頻轉(zhuǎn)換方法，其特征在于，所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)包括生成器和判別器。

3.根據(jù)權(quán)利要求2所述的視頻轉(zhuǎn)換方法，其特征在于，所述生成器滿足分層合并模型函數(shù)；

所述分層合并模型函數(shù)為：

其中，☉表示點(diǎn)積操作；表示光流掩模，通過光流掩模來選擇光流圖中像素值的來源；M表示有標(biāo)注中間幀；i為視頻幀數(shù)；表示視頻幀；表示從有標(biāo)注中間幀M到視頻幀的光流圖；W表示光流預(yù)測網(wǎng)絡(luò)；表示光流扭曲操作；表示生成視頻；

所述生成器滿足光流損失函數(shù)；

所述光流損失函數(shù)為：

其中，i為視頻幀數(shù)；表示視頻幀；M表示有標(biāo)注中間幀；表示從有標(biāo)注中間幀M到視頻幀的光流圖；表示原始視頻和中間幀的真實(shí)光流；表示光流圖與原始視頻和中間幀的真實(shí)光流之間的誤差；表示使用有標(biāo)注中間幀M和光流圖獲得的光流扭曲圖和真實(shí)的視頻幀之間的誤差。

4.根據(jù)權(quán)利要求2所述的視頻轉(zhuǎn)換方法，其特征在于，所述生成器包括m個(gè)第一卷積層、n個(gè)殘差層以及共享所述m個(gè)第一卷積層和所述n個(gè)殘差層的權(quán)重參數(shù)的a個(gè)反卷積層，m、n、a均大于等于2；所述判別器包括第二卷積層。

5.根據(jù)權(quán)利要求4所述的視頻轉(zhuǎn)換方法，其特征在于，

所述生成器的權(quán)重參數(shù)為隨機(jī)初始化的權(quán)重參數(shù)；所述隨機(jī)初始化的權(quán)重參數(shù)滿足符合均勻分布的隨機(jī)初始化的權(quán)重參數(shù)；或，

所述生成器的權(quán)重參數(shù)為預(yù)訓(xùn)練的初始化權(quán)重參數(shù)，所述預(yù)訓(xùn)練的初始化權(quán)重參數(shù)滿足符合均勻分布的預(yù)訓(xùn)練的初始化權(quán)重參數(shù)。

6.根據(jù)權(quán)利要求2所述的視頻轉(zhuǎn)換方法，其特征在于，所述生成器的數(shù)量為兩個(gè)，所述判別器的數(shù)量為兩個(gè)。

7.根據(jù)權(quán)利要求2所述的視頻轉(zhuǎn)換方法，其特征在于，所述判別器中的真實(shí)置信度滿足特征值矩陣的表達(dá)式。

8.根據(jù)權(quán)利要求1所述的視頻轉(zhuǎn)換方法，其特征在于，所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)的學(xué)習(xí)方式滿足：在訓(xùn)練階段采用對(duì)抗損失方式學(xué)習(xí)標(biāo)注樣本；在訓(xùn)練階段采用循環(huán)損失方式學(xué)習(xí)無標(biāo)注樣本。

9.根據(jù)權(quán)利要求8所述的視頻轉(zhuǎn)換方法，其特征在于，所述半監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)滿足對(duì)抗損失函數(shù)；

所述對(duì)抗損失函數(shù)為：

其中，s為Y視頻域的視頻幀數(shù)；i為X視頻域的視頻幀數(shù)；表示Y視頻域的判別器；表示Y視頻域的視頻幀；表示X視頻域到Y(jié)視頻域的轉(zhuǎn)換函數(shù)；M表示有標(biāo)注中間幀；表示X視頻域內(nèi)的視頻幀；

所述對(duì)抗損失函數(shù)表示最大化所述判別器判別正確的概率同時(shí)最小化通過所述生成器獲得的轉(zhuǎn)換后視頻被判別出來的概率。