[發明專利]針對多個機器任務的學習型視頻壓縮和連接器

在審

• 申請號: 202180074615.7
• 申請日: 2021-11-03
• 公開（公告）號: CN116438798A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: F·拉卡佩;L·D·希瓦加米奇;J·貝蓋特;S·費爾特曼
• 申請（專利權）人: VID拓展公司
• 主分類號: H04N19/50
• 分類號: H04N19/50
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 延美花;臧建明

處理模塊或連接器將編解碼器的輸出或經解碼的輸出調整為適用于替代任務的形式。在一個實施方案中，編解碼器的輸出用于機器任務，并且連接器將此輸出調整為適用于視頻顯示。在另一個實施方案中，元數據伴隨著編解碼器輸出，該輸出可以指示連接器如何使編解碼器輸出適于替代任務。在其他實施方案中，處理模塊在NxM窗口上執行平均化或卷積。

技術領域

本實施方案中的至少一個實施方案通常涉及一種用于視頻編碼或解碼、壓縮或解壓縮的方法或裝置。

背景技術

為了實現高壓縮效率，圖像和視頻編碼方案通常采用包括運動向量預測在內的預測以及變換來利用視頻內容中的空間和時間冗余。一般來講，幀內或幀間預測用于利用幀內或幀間相關性，然后對在原始圖像與預測圖像之間的差值(通常表示為預測錯誤或預測殘差)進行變換、量化和熵編碼。為了重構視頻，通過對應于熵編碼、量化、變換和預測的逆過程對壓縮數據進行解碼。

發明內容

本發明實施方案中的至少一個實施方案通常涉及一種用于視頻編碼或解碼的方法或裝置，并且更具體地，涉及如在VVC(通用視頻編碼或H.266)標準中結合其他編碼工具使用模板匹配預測的方法或裝置。

根據第一方面，提供了一種方法。該方法包括以下步驟：使用第一約束集編碼視頻部分以生成比特流；對該比特流進行解碼；在第二約束集下處理所解碼的比特流；以及利用所處理的比特流執行任務。

根據第二方面，提供了另一種方法。該方法包括以下步驟：對視頻比特流進行解碼；以及處理所解碼的視頻比特流，其中所述處理使所解碼的視頻比特流適于后一任務。

根據另一方面，提供了一種裝置。該裝置包括處理器。該處理器可以被配置為執行上述提及的方法中的任何方法。

根據至少一個實施方案的另一個一般方面，提供了一種設備，該設備包括：根據解碼實施方案中的任一實施方案的裝置；以及以下項中的至少一者：(i)天線，該天線被配置為接收信號，該信號包括視頻塊；(ii)頻帶限制器，該頻帶限制器被配置為將所接收的信號限制為包括該視頻塊的頻帶；和(iii)顯示器，該顯示器被配置為顯示表示視頻塊的輸出。

根據至少一個實施方案的另一個一般方面，提供了一種非暫態計算機可讀介質，該非暫態計算機可讀介質包括根據所描述的編碼實施方案或變體中的任一者生成的數據內容。

根據至少一個實施方案的另一個一般方面，提供了一種信號，該信號包括根據所描述的編碼實施方案或變體中的任一者生成的視頻數據。

根據至少一個實施方案的另一個一般方面，比特流被格式化以包括根據所描述的編碼實施方案或變體中的任一者生成的數據內容。

根據至少一個實施方案的另一個一般方面，提供了一種計算機程序產品，該計算機程序產品包括指令，當由計算機執行程序時，該指令使計算機執行所描述的解碼實施方案或變體中的任一者。

通過將結合附圖閱讀的示例性實施方案的以下詳細描述，一般方面的這些和其他方面、特征和優點將變得顯而易見。

附圖說明

圖1示出了基本自編碼器鏈。

圖2示出了包括用于圖像/視頻壓縮的自編碼器的示例性框架，結合在經解碼的圖片上運行的機器任務。

圖3示出了在同一比特率下使用兩個不同的編解碼器的不同偽影。

圖4示出了所提出的連接器的一個示例。

圖5示出了作為比特率的函數的次要任務圖像分類的準確度。

圖6示出了在一般描述方面情況下的方法的一個實施方案。

圖7示出了在一般描述方面情況下的方法的另一個實施方案。

圖8示出了在所描述方面情況下的示例性裝置。