[發明專利]視覺質量優化的視頻壓縮

在審

• 申請號: 202010554220.4
• 申請日: 2020-06-17
• 公開（公告）號: CN112399178A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 瑪麗亞·博特曼;扎奇·阿什肯納齊;伊利亞·羅姆;加比·普雷徹那
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/154;H04N19/184
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 李麗

1.一種方法，包括：

對接收到的比特流進行解碼，以生成經解碼視頻流的第一視頻圖片，其中，所述第一視頻圖片包括第一分辨率；

將生成對抗網絡的經預訓練解壓縮上采樣部分應用于所述第一視頻圖片以進行上采樣并提高所述第一視頻圖片的感知質量，來生成第二視頻圖片，其中，所述第二視頻圖片包括大于所述第一分辨率的第二分辨率；并且

輸出所述第二視頻圖片。

2.根據權利要求1所述的方法，其中，所述經解碼視頻流包括多個同時期視頻流中的第一視頻流，所述多個同時期視頻流是從在場景上訓練的相應的多個相機獲取的。

3.根據權利要求2所述的方法，還包括：

對所述同時期視頻流中的每一者進行下采樣；

對經下采樣的同時期視頻流中的每一者進行編碼，以生成相應的多個比特流，所述多個比特流包括所述接收到的比特流；并且

發送所述多個比特流中的每一者。

4.根據權利要求1到3中任一項所述的方法，其中，所述第二分辨率在垂直方向和水平方向上均不小于所述第一分辨率的八倍。

5.根據權利要求1到3中任一項所述的方法，其中，所述經預訓練解壓縮上采樣部分依次包括以下各項：多個第一殘差塊、多個上采樣塊、至少一個第二殘差塊。

6.根據權利要求5所述的方法，其中，所述第一殘差塊和所述第二殘差塊中的每一者包括卷積層、線性整流單元層、以及求和層，并且每個上采樣塊包括轉置卷積層和線性整流單元層，并且其中，所述至少一個第二殘差塊后面是卷積層。

7.根據權利要求1所述的方法，還包括：

將以第二分辨率接收到的訓練圖片下采樣到第一分辨率；

對經下采樣的訓練圖片進行編碼，以生成第二比特流；

對所述第二比特流進行解碼，以生成經解碼訓練圖片；

將所述生成對抗網絡的解壓縮上采樣部分應用于所述經解碼訓練圖片，以生成具有第二分辨率的結果圖片；

使用所述訓練圖片和所述結果圖片來確定內容損失；

將判別網絡應用于所述結果圖片，以生成關于所述結果圖片是真還是假的評估；

基于所述評估來確定判別器損失；并且

使用基于所述內容損失和所述判別器損失二者的最終損失，來訓練所述生成對抗網絡的所述解壓縮上采樣部分。

8.根據權利要求1到3中任一項所述的方法，還包括：

接收與所述第一視頻圖片的第一區域相對應的第一區域指示符和與所述第一視頻圖片的第二區域相對應的第二區域指示符，其中，響應于所述第一區域指示符，而將所述經預訓練解壓縮上采樣部分僅應用于所述第一區域，并且響應于所述第二區域指示符，而不將所述經預訓練解壓縮上采樣部分應用于所述第二區域。

9.根據權利要求1到3中任一項所述的方法，還包括：

接收與所述第一視頻圖片的第一區域相對應的第一區域指示符和與所述第一視頻圖片的第二區域相對應的第二區域指示符，其中，響應于所述第一區域指示符，而將所述經預訓練解壓縮上采樣部分僅應用于所述第一區域；并且

響應于所述第二區域指示符，而將第二生成對抗網絡的第二經預訓練解壓縮上采樣部分應用于所述第二區域，以對所述第二區域進行上采樣并用紋理。

10.根據權利要求9所述的方法，其中，響應于所述第一區域是感興趣的區域，所述第一區域的第一比特率大于所述第二區域的第二比特率。

11.根據權利要求1到3中任一項所述的方法，其中，所述接收到的比特流的比特率對所述第一分辨率的比率不大于每像素每秒兩比特。