[發明專利]支持機器智能的通用視頻壓縮編碼方法

有效

• 申請號: 202010895946.4
• 申請日: 2020-08-31
• 公開（公告）號: CN111953973B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 陳志波;金鑫;孫思萌;馮若愚;馮潤森
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/136
• 分類號: H04N19/136;H04N19/172;H04N19/20;H04N19/51
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種支持機器智能的通用視頻壓縮編碼方法，其特征在于，包括：幀內編碼和幀間編碼兩部分；其中：

幀內編碼部分包括：對于輸入視頻幀，先進行物體檢測，得到各個物體的空間位置信息和類別信息；基于各個物體的空間位置信息和類別信息進行屬性解析、以及關系推理，獲得各物體的屬性信息、以及物體之間的拓撲關系；再將各個物體的空間位置信息和類別信息作為指導信息，利用物體的空間位置信息對輸入視頻幀進行編碼單元的劃分，并對劃分后的編碼單元進行編碼，編碼得到的碼流中所包含的物體的類別信息用于幀間編碼部分的視頻幀重建過程；

幀間編碼部分包括：以輸入視頻幀或目標為單元進行視頻幀的重建，并通過運動補償，獲得光流預測信息和殘差編碼信息；

將幀內編碼部分獲得的各個物體的空間位置信息和類別信息、各物體的屬性信息、物體之間的拓撲關系、編碼后的編碼單元、以及幀間編碼部分獲得的光流預測信息和殘差編碼信息進行熵編碼，獲得相應的碼流；

其中，將各個物體的空間位置信息和類別信息作為指導信息，利用物體的空間位置信息對輸入視頻幀進行編碼單元的劃分，并對劃分后的編碼單元進行編碼包括：根據物體的空間位置信息，將物體映射到待編碼的隱變量空間，將隱變量根據映射到的空間位置信息進行語義劃分，得到語義對應的待編碼隱變量，然后根據從上到下、從左到右的順序對劃分好的隱變量進行編碼；編碼得到的碼流中所包含的物體的類別信息作為幀間編碼部分視頻幀重建過程中解碼器所需的物體標志信息。

2.根據權利要求1所述的一種支持機器智能的通用視頻壓縮編碼方法，其特征在于，所述關系推理包括：空間關系推理與語義關系推理；

利用各物體的空間位置信息進行空間關系推理，獲得各物體之間的空間關系；

利用各物體的類別信息進行語義關系推理，獲得各物體之間的語義關系；

所述空間關系與語義關系，構成了拓撲關系。

3.根據權利要求1所述的一種支持機器智能的通用視頻壓縮編碼方法，其特征在于，幀內編碼部分的碼流結構為：物體頭信息、物體屬性信息、以及物體信息流；

其中，物體頭信息包括：物體的空間位置信息、類別信息和拓撲關系信息；物體信息流包括：各物體以及背景對應的圖像。