[發明專利]基于機器視覺編解碼的視頻超分辨率方法、裝置、系統和介質

有效

• 申請號: 202011000581.0
• 申請日: 2020-09-22
• 公開（公告）號: CN112543347B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 蔣薇;王煒;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06T5/50
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 陳美娥;王琦

1.一種基于機器視覺編解碼VCM的視頻超分辨率SR方法，其特征在于，包括：

電子設備獲取低分辨率LR視頻；

所述電子設備基于深度神經網絡DNN生成所述LR視頻的特征表示；

所述電子設備基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼，以生成所述LR視頻的已編碼特征表示和已編碼LR視頻，其中所述LR視頻的特征表示包含所述LR視頻的空間和時間信息，用于創建與所述LR視頻對應的高分辨率HR視頻；

服務器接收所述LR視頻的已編碼特征表示和所述已編碼LR視頻；

所述服務器基于所述VCM標準對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼，以生成所述LR視頻的已解碼特征表示和已解碼LR視頻；

所述服務器基于所述LR視頻的已解碼特征表示和所述已解碼LR視頻執行重建過程，以創建與所述LR視頻的對應的所述HR視頻；以及

所述服務器將所述HR視頻呈現給用戶應用；

所述電子設備基于深度神經網絡DNN生成所述LR視頻的特征表示包括：

所述電子設備從所述LR視頻的幀中提取運動特征，并基于所述提取的運動特征對所述LR視頻的幀進行對準；或者，直接學習對準濾波器，以對所述LR視頻的幀進行對準而不提取運動特征；以及

所述電子設備生成已對準幀的特征表示作為所述LR視頻的特征表示；

其中，所述已對準幀的特征表示由大小為(w，h，t，n，c)的5維張量定義，其中w和h是所述LR視頻的幀的寬度和高度，t是所述LR視頻的時間長度，c是所生成的特征的數量，n是所述LR視頻的幀的時間鄰域的大小，在所述時間鄰域內所述LR視頻的幀對應于要生成的所述HR視頻的幀；其中，將大小為n的所述時間鄰域放置在要生成的所述HR視頻的幀周圍，并將所述時間鄰域內的LR視頻幀與對應于要生成的所述HR視頻的幀的LR視頻幀對準。

2.根據權利要求1所述的視頻SR方法，其特征在于，所述服務器執行重建過程包括：

所述服務器對所述LR視頻的已解碼特征表示執行融合過程，以生成所述LR視頻的融合特征表示；以及

所述服務器對所述LR視頻的融合特征表示和所述已解碼LR視頻執行所述重建過程，以生成所述HR視頻。

3.根據權利要求1所述的視頻SR方法，其特征在于，所述電子設備基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼包括：

所述電子設備對所述LR視頻的特征表示執行融合過程，以生成所述LR視頻的融合特征表示；以及

所述電子設備對所述LR視頻的融合特征表示進行編碼，以基于所述VCM標準生成所述LR視頻的已編碼融合特征表示。

4.根據權利要求3所述的視頻SR方法，其特征在于，

所述服務器基于所述VCM標準對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼包括：

所述服務器對所述LR視頻的已編碼融合特征表示進行解碼，以生成所述LR視頻的已解碼融合特征表示，以及

所述服務器執行重建過程包括：

所述服務器對所述LR視頻的已解碼融合特征表示和所述已解碼LR視頻執行所述重建過程，以生成所述HR視頻。

5.根據權利要求1所述的視頻SR方法，其特征在于，

所述電子設備基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼包括：

所述電子設備使用VCM編碼器基于所述VCM標準對所述LR視頻的特征表示進行編碼，以生成所述LR視頻的已編碼特征表示；以及

所述電子設備使用單獨且獨立的視頻編碼器基于視頻編解碼標準對所述LR視頻進行編碼，以生成所述已編碼LR視頻；

所述服務器基于所述VCM標準對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼包括：

所述服務器使用VCM解碼器基于所述VCM標準對所述LR視頻的已編碼特征表示進行解碼，以生成所述LR視頻的已解碼特征表示；以及

所述服務器使用單獨且獨立的視頻解碼器對所述已編碼LR視頻進行解碼，以生成所述已解碼LR視頻。