[發明專利]基于機器視覺編解碼的視頻超分辨率方法、裝置、系統和介質

有效

• 申請號: 202011000581.0
• 申請日: 2020-09-22
• 公開（公告）號: CN112543347B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 蔣薇;王煒;劉杉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06T5/50
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 陳美娥;王琦

一種基于機器視覺編解碼(VCM)的視頻超分辨率(SR)方法。該方法包括：獲取低分辨率LR視頻；基于深度神經網絡DNN生成所述LR視頻的特征表示；基于VCM標準對所述LR視頻的特征表示和所述LR視頻進行編碼，以生成所述LR視頻的已編碼特征表示和已編碼LR視頻，其中所述LR視頻的特征表示包含所述LR視頻的空間和時間信息，用于創建與所述LR視頻對應的高分辨率HR視頻；以及對所述LR視頻的已編碼特征表示和所述已編碼LR視頻進行解碼。

優先權信息

本申請要求于2019年9月23日遞交的、申請號為62/904,647的美國臨時申請、以及于2020年9月16日遞交的、申請號為17/023,055的美國申請的優先權，其全部內容通過引用并入本申請中。

技術領域

本申請涉及視頻技術領域，更具體地，涉及基于機器視覺編解碼(VCM)的視頻超分辨率(SR)方法、裝置和系統、以及存儲介質。

背景技術

國際標準化組織(ISO)/國際電工委員會(IEC)動態圖像專家組(MPEG)(JTC 1/SC29/WG 11)一直在積極尋求對視頻編解碼技術標準化的潛在需要，以進行視覺分析和理解。ISO于2015年將緊湊視覺搜索描述符(CDVS)標準作為靜止圖像標準，該標準提取特征表示以進行圖像相似性匹配。緊湊視覺分析描述符(CDVA)標準被列為MPEG 7和ISO/IEC 15938-15的第15部分，并于2018年完成，該標準提取視頻片段的全局和局部的、手動設計的和基于深度神經網絡(DNN)的特征描述符。DNN成功地應用于各種視頻應用中，例如語義分類、目標檢測/識別、目標跟蹤、視頻質量增強等。MPEG還在研究神經網絡標準(NNR)的編碼表示，該標準對DNN模型進行編碼以節省存儲空間和計算量。

最近，針對機器視覺編解碼(VCM)標準成立了一個小組，以探討“機器視覺的壓縮編解碼以及人機混合系統的壓縮”主題，旨在開發一種標準，該標準可以在芯片中實現，以廣泛應用于任何與視頻相關的物聯網(IoT)設備。與以前的CDVA和CDVS相比，VCM是一種新興的機器標準的視頻，可以視為CDVA的超集。通過組合神經網絡骨干的多個特征圖，VCM可以處理更高級的視覺分析任務，例如對象檢測和分段。然而，普遍缺少VCM的具體實施方式。

所公開的方法、裝置和系統旨在解決上述一個或多個問題以及其它問題。

發明內容

本公開的實施例涉及基于機器視覺編解碼(VCM)的視頻超分辨率(SR)方法、裝置和系統、以及存儲介質，旨在提出一種VCM的具體實施方式，以節省存儲空間和計算量。