[發明專利]視頻質量提升模型的訓練方法和裝置

在審

• 申請號: 202110357426.2
• 申請日: 2021-04-01
• 公開（公告）號: CN113012073A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 周煥祥;黃曉政;馬秋芳;戴宇榮;王斌;于冰
• 申請（專利權）人: 清華大學;北京達佳互聯信息技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 曾世驍;蘇銀虹

1.一種視頻質量提升模型的訓練方法，其特征在于，所述視頻質量提升模型包括第一階段生成器、第二階段生成器和判別器，其中，所述訓練方法包括：

由第一階段生成器對第一質量的視頻幀進行處理來獲得第一輸出圖像；

由第二階段生成器根據第一輸出圖像和隨機變量來獲得第二輸出圖像；

根據第二質量的視頻幀和第一輸出圖像計算第一損失函數，其中，所述第一質量的視頻幀是通過對所述第二質量的視頻幀進行編碼和解碼后得到的；

根據第二質量的視頻幀、第二輸出圖像、以及判別器對第二輸出圖像和所述第二質量的視頻幀判別的結果計算第二損失函數；

根據判別器對第二輸出圖像和所述第二質量的視頻幀判別的結果計算第三損失函數；

根據第一損失函數、第二損失函數和第三損失函數分別調整第一階段生成器、第二階段生成器和判別器的模型參數來對所述視頻質量提升模型進行訓練。

2.如權利要求1所述的訓練方法，其特征在于，計算第二損失函數的步驟包括：

根據第二輸出圖像和所述第二質量的視頻幀來計算L1損失函數；

根據判別器針對第二輸出圖像的判別結果來計算對抗損失函數；

根據第二輸出圖像和所述第二質量的視頻幀來計算感知損失函數；并且

計算L1損失函數、對抗損失函數和感知損失函數的加權和作為第二損失函數。

3.如權利要求1所述的訓練方法，其特征在于，所述隨機變量與第一輸出圖像中的每個像素對應，并且隨著每個像素所在區域的紋理而動態變化。

4.如權利要求1所述的訓練方法，其特征在于，獲得第一輸出圖像的步驟包括：

由第一階段生成器從所述第一質量的視頻幀提取深度特征；

由第一階段生成器中的多個卷積模塊對提取的深度特征進行處理來獲得處理后的深度特征；

由第一階段生成器將所述處理后的深度特征轉換到與所述第一質量的視頻幀相同的彩色空間以獲得第一殘差圖像；

由第一階段生成器將第一殘差圖像與所述第一質量的視頻幀相加來獲得第一輸出圖像。

5.如權利要求1所述的訓練方法，其特征在于，計算第一損失函數的步驟包括：根據所述第二質量的視頻幀和第一輸出圖像來計算L1損失函數作為第一損失函數。

6.一種視頻質量提升方法，其特征在于，包括：

由視頻質量提升模型中的第一階段生成器對重建的視頻幀進行處理減少重建的視頻幀中的壓縮失真來獲得第一輸出圖像；

由視頻質量提升模型中的第二階段生成器對第一輸出圖像和隨機變量進行處理來獲得第二輸出圖像。

7.一種視頻質量提升模型的訓練裝置，其特征在于，所述視頻質量提升模型包括第一階段生成器、第二階段生成器和判別器，其中，所述訓練裝置包括：

第一獲得單元，被配置為：通過第一階段生成器對第一質量的視頻幀進行處理來獲得第一輸出圖像；

第二獲得單元，被配置為：通過第二階段生成器根據第一輸出圖像和隨機變量來獲得第二輸出圖像；

計算單元，被配置為：根據第二質量的視頻幀和第一輸出圖像計算第一損失函數，根據第二質量的視頻幀、第二輸出圖像、以及判別器對第二輸出圖像和所述第二質量的視頻幀判別的結果計算第二損失函數，并根據判別器對第二輸出圖像和所述第二質量的視頻幀判別的結果計算第三損失函數，其中，所述第一質量的視頻幀是通過對所述第二質量的視頻幀進行編碼和解碼后得到的；以及

調參單元，被配置為：根據第一損失函數、第二損失函數和第三損失函數分別調整第一階段生成器、第二階段生成器和判別器的模型參數來對所述視頻質量提升模型進行訓練。

8.一種視頻質量提升裝置，其特征在于，包括：

第一獲得單元，被配置為：通過視頻質量提升模型中的第一階段生成器對重建的視頻幀進行處理減少重建的視頻幀中的壓縮失真來獲得第一輸出圖像；

第二獲得單元，被配置為：通過視頻質量提升模型中的第二階段生成器對第一輸出圖像和隨機變量進行處理來獲得第二輸出圖像。