[發明專利]用于低碼率視頻壓縮的微量處理

在審

• 申請號: 202210363618.9
• 申請日: 2022-04-08
• 公開（公告）號: CN115209155A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: A·賈盧瓦;L·M·赫爾明格;R·G·D·A·阿澤維多;S·拉布羅齊;C·R·施羅爾斯;Y·薛
• 申請（專利權）人: 迪士尼企業公司;蘇黎世聯邦理工學院
• 主分類號: H04N19/42
• 分類號: H04N19/42;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 何偉華

一種系統包括：基于機器學習(ML)模型的視頻編碼器，被配置為：接收包括多個視頻幀的未壓縮視頻序列；從該多個視頻幀中確定第一視頻幀子集和第二視頻幀子集；編碼該第一視頻幀子集以產生第一壓縮視頻幀子集；和識別用于該第一壓縮視頻幀子集的第一解壓縮數據。該基于ML模型的視頻編碼器進一步被配置為：編碼該第二視頻幀子集以產生第二壓縮視頻幀子集；和識別用于該第二壓縮視頻幀子集的第二解壓縮數據。該第一解壓縮數據專用于解碼所述第一壓縮視頻幀子集而專用于該第二壓縮視頻幀子集，并且該第二解壓縮數據專用于解碼該第二壓縮視頻幀子集而不專用于該第一壓縮視頻幀子集。

相關申請的交叉引用

本申請要求在2021年4月8日提交的標題為“Neural Network Based VideoCodecs”的第63/172,315號臨時專利申請以及在2021年10月13號提交的標題為“Microdosing For Low Bitrate Video Compression”第63/255,280號臨時專利申請的權益和優先權，其全部內容通過引用并入本申請。

背景技術

視頻內容代表總的因特網流量的大部分，并且隨著空間分辨率幀率、視頻的色深增加以及更多的用戶采用流服務，視頻內容預期會增加得更多。盡管現有編解碼器已經實現了令人印象深刻的性能，但是它們已經被設計到這樣的程度，即，進一步添加小的改進不可能滿足未來的需求。因此，探索從根本上不同的方式以執行視頻編碼可能有利地產生具有改進的性能和靈活性的新類別的視頻編解碼器。

例如，使用訓練好的機器學習(ML)模型(例如神經網絡(NN))，以例如生成對抗網絡(GAN)的形式來執行視頻壓縮的一個優點在于，它能夠使得ML模型推斷視覺細節，否則在要獲取的數據傳輸方面將會代價較高。然而，模型尺寸在當前的技術發展水平的提案中仍然是重要的問題，并且現有的解決方案在解碼側需要顯著的計算量。也就是說，現有的基于GAN的壓縮框架的一個顯著缺點是它們通常需要有時在私有數據集上訓練的大型解碼器模型。因此，將這些模型重新訓練到它們的原始的性能通常是不可能的，并且即使當訓練數據是可用的時，重新訓練模型將是復雜且耗時的。此外，現有大型解碼器模型的存儲器和推斷時間的需求使得它們不太實用，尤其是在視頻編碼的環境中。

附圖說明

圖1示出了根據一個實施方式的提供基于機器學習(ML)模型的視頻編解碼器的示例性系統的圖；

圖2示出了根據一個實現方式的將神經壓縮的現有方法與示例性微量壓縮方法進行比較的圖；

圖3示出了根據一個實施方式的包括大型解碼器的現有高性能編解碼器；

圖4A描繪了根據本發明概念的一個示例性實施方式的使用教師解碼器的小型學生解碼器的訓練；

圖4B描繪了根據一個實施方式的適合于在圖4A中所示的小型學生解碼器中使用的示例性的基于ML模型的解碼網絡；

圖5示出了根據一個實施方式的用于實現知識蒸餾(KD)技術的視頻壓縮流水線，所述知識蒸餾(KD)技術包括用于低碼率視頻壓縮的微量處理；

圖6示出了根據一個實施方式的概述執行用于低碼率視頻壓縮的微量處理的示例性方法的流程圖；和

圖7示出了根據一個實施方式的描述了用于擴展圖6中概述的方法的附加動作的流程圖。

具體實施方式

以下描述包含與本公開中的實施方式有關的具體信息。本領域技術人員應當認識到，本公開可能以與本文具體地討論的不同的方式來實現。本申請中的附圖及其詳細描述僅針對示例性實施方式。除非另外指出，否則附圖中的相同或相應的元件可能由相同或相應的附圖標記表示。此外，本申請中的附圖和圖示通常不是按比例的，并且不旨在對應于實際的相對大小。