[發(fā)明專利]基于機器視覺編解碼的視頻超分辨率方法、裝置、系統(tǒng)和介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011000581.0
• 申請日: 2020-09-22
• 公開（公告）號: CN112543347B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 蔣薇;王煒;劉杉
• 申請（專利權(quán)）人: 騰訊美國有限責(zé)任公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06T5/50
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 陳美娥;王琦

1.一種基于機器視覺編解碼VCM的視頻超分辨率SR方法，其特征在于，包括：

電子設(shè)備獲取低分辨率LR視頻；

所述電子設(shè)備基于深度神經(jīng)網(wǎng)絡(luò)DNN生成所述LR視頻的特征表示；

所述電子設(shè)備基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼，以生成所述LR視頻的已編碼特征表示和已編碼LR視頻，其中所述LR視頻的特征表示包含所述LR視頻的空間和時間信息，用于創(chuàng)建與所述LR視頻對應(yīng)的高分辨率HR視頻；

服務(wù)器接收所述LR視頻的已編碼特征表示和所述已編碼LR視頻；

所述服務(wù)器基于所述VCM標準對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼，以生成所述LR視頻的已解碼特征表示和已解碼LR視頻；

所述服務(wù)器基于所述LR視頻的已解碼特征表示和所述已解碼LR視頻執(zhí)行重建過程，以創(chuàng)建與所述LR視頻的對應(yīng)的所述HR視頻；以及

所述服務(wù)器將所述HR視頻呈現(xiàn)給用戶應(yīng)用；

所述電子設(shè)備基于深度神經(jīng)網(wǎng)絡(luò)DNN生成所述LR視頻的特征表示包括：

所述電子設(shè)備從所述LR視頻的幀中提取運動特征，并基于所述提取的運動特征對所述LR視頻的幀進行對準；或者，直接學(xué)習(xí)對準濾波器，以對所述LR視頻的幀進行對準而不提取運動特征；以及

所述電子設(shè)備生成已對準幀的特征表示作為所述LR視頻的特征表示；

其中，所述已對準幀的特征表示由大小為(w，h，t，n，c)的5維張量定義，其中w和h是所述LR視頻的幀的寬度和高度，t是所述LR視頻的時間長度，c是所生成的特征的數(shù)量，n是所述LR視頻的幀的時間鄰域的大小，在所述時間鄰域內(nèi)所述LR視頻的幀對應(yīng)于要生成的所述HR視頻的幀；其中，將大小為n的所述時間鄰域放置在要生成的所述HR視頻的幀周圍，并將所述時間鄰域內(nèi)的LR視頻幀與對應(yīng)于要生成的所述HR視頻的幀的LR視頻幀對準。

2.根據(jù)權(quán)利要求1所述的視頻SR方法，其特征在于，所述服務(wù)器執(zhí)行重建過程包括：

所述服務(wù)器對所述LR視頻的已解碼特征表示執(zhí)行融合過程，以生成所述LR視頻的融合特征表示；以及

所述服務(wù)器對所述LR視頻的融合特征表示和所述已解碼LR視頻執(zhí)行所述重建過程，以生成所述HR視頻。

3.根據(jù)權(quán)利要求1所述的視頻SR方法，其特征在于，所述電子設(shè)備基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼包括：

所述電子設(shè)備對所述LR視頻的特征表示執(zhí)行融合過程，以生成所述LR視頻的融合特征表示；以及

所述電子設(shè)備對所述LR視頻的融合特征表示進行編碼，以基于所述VCM標準生成所述LR視頻的已編碼融合特征表示。

4.根據(jù)權(quán)利要求3所述的視頻SR方法，其特征在于，

所述服務(wù)器基于所述VCM標準對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼包括：

所述服務(wù)器對所述LR視頻的已編碼融合特征表示進行解碼，以生成所述LR視頻的已解碼融合特征表示，以及

所述服務(wù)器執(zhí)行重建過程包括：

所述服務(wù)器對所述LR視頻的已解碼融合特征表示和所述已解碼LR視頻執(zhí)行所述重建過程，以生成所述HR視頻。

5.根據(jù)權(quán)利要求1所述的視頻SR方法，其特征在于，

所述電子設(shè)備基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼包括：

所述電子設(shè)備使用VCM編碼器基于所述VCM標準對所述LR視頻的特征表示進行編碼，以生成所述LR視頻的已編碼特征表示；以及

所述電子設(shè)備使用單獨且獨立的視頻編碼器基于視頻編解碼標準對所述LR視頻進行編碼，以生成所述已編碼LR視頻；

所述服務(wù)器基于所述VCM標準對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼包括：

所述服務(wù)器使用VCM解碼器基于所述VCM標準對所述LR視頻的已編碼特征表示進行解碼，以生成所述LR視頻的已解碼特征表示；以及

所述服務(wù)器使用單獨且獨立的視頻解碼器對所述已編碼LR視頻進行解碼，以生成所述已解碼LR視頻。