[發明專利]一種視頻的壓縮方法

在審

• 申請號: 202211201356.2
• 申請日: 2022-09-29
• 公開（公告）號: CN115619882A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 溫力嘉;段一平
• 申請（專利權）人: 清華大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T3/40
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 茍冬梅

本申請提供了一種視頻的壓縮方法，涉及視頻處理技術領域。所述方法包括：將視頻輸入視頻壓縮模型，得到所述視頻的每個視頻幀的OAR基元；對所述每個視頻幀的OAR基元進行壓縮重建，得到壓縮后視頻；獲取所述視頻壓縮模型輸出的所述壓縮后視頻。

技術領域

本申請涉及視頻處理技術領域，特別是涉及一種視頻的壓縮方法。

背景技術

和深度學習融合的生成式重建對于視頻的壓縮具有重要意義，主要因為：一方面，隨著視頻媒體網絡業務量劇增，出現了許多不同以往的應用場景，例如從標清到高清再到4k和8k，對視頻壓縮編解碼傳輸能力提出了新的挑戰；另一方面，虛擬現實(VR)、增強現實(AR)等新興多媒體技術的應用，也吸引研究者發展新興視頻編解碼方法。生成式重建的編解碼碼率遠小于傳統的壓縮編解碼碼率，在視頻壓縮比上具有較大優勢。同時，深度學習在圖像處理領域發展迅速，特別在圖像檢測、分類、表征、生成等方面獲得不錯成果，為視頻的生成式壓縮重建提供了技術支持。

相關技術中，直接對視頻的每一視頻幀進行生成式壓縮重建，然后將每一視頻幀按照順序進行拼接得到進行了壓縮的視頻。然而，這種方法得到的視頻質量較低。

發明內容

鑒于上述問題，本申請實施例提供了一種視頻的壓縮方法，以便克服上述問題或者至少部分地解決上述問題。

本申請實施例的第一方面，提供了一種視頻的壓縮方法，所述方法包括：

將視頻輸入視頻壓縮模型，得到所述視頻的每個視頻幀的OAR基元；

對所述每個視頻幀的OAR基元進行壓縮重建，得到壓縮后視頻；

獲取所述視頻壓縮模型輸出的所述壓縮后視頻。

可選地，所述將視頻輸入視頻壓縮模型，得到所述視頻的每個視頻幀的OAR基元，包括：

將所述視頻輸入所述視頻壓縮模型，提取所述每個視頻幀的目標屬性基元、目標關系基元和背景向量；

將所述每個視頻幀的目標屬性基元、目標關系基元和背景向量進行拼接，得到所述每個視頻幀的OAR基元。

可選地，所述提取所述視頻的每個視頻幀的目標屬性基元、目標關系基元和背景向量，包括：

對所述每個視頻幀進行目標檢測，得到目標屬性幀、目標關系幀和背景圖像幀，所述目標屬性幀包括至少一個目標，所述目標關系幀包括至少兩個目標，所述背景圖像幀不包括目標；

提取所述目標屬性幀的目標屬性基元，提取所述目標關系幀的目標關系基元，以及提取所述目標屬性幀、所述目標關系幀和所述背景圖像幀中的背景向量；

將不為所述目標屬性幀的視頻幀的目標屬性基元設置為0，以及將不為所述目標關系幀的視頻幀的目標關系基元設置為0；

將所述每個視頻幀的目標屬性基元、目標關系基元和背景向量進行拼接，得到所述每個視頻幀的OAR基元，其中，所述OAR基元中的目標屬性基元和/或目標關系基元為0或非0。

可選地，所述提取所述目標屬性幀的目標屬性基元，包括：

將所述目標屬性幀輸入目標屬性基元提取模塊，所述目標屬性基元提取模塊對所述目標屬性幀進行壓縮解碼，得到初步屬性特征向量；

對所述初步屬性特征向量進行編碼，得到所述目標屬性幀的均值向量和方差向量；

根據所述目標屬性幀的均值向量和方差向量，構建所述目標屬性幀的隱向量分布；

對所述目標屬性幀的隱向量分布進行解碼，得到所述目標屬性幀的目標屬性基元。

可選地，所述提取所述目標關系幀的目標關系基元，包括：