[發明專利]支持機器智能的通用視頻壓縮編碼方法

有效

• 申請號: 202010895946.4
• 申請日: 2020-08-31
• 公開（公告）號: CN111953973B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 陳志波;金鑫;孫思萌;馮若愚;馮潤森
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/136
• 分類號: H04N19/136;H04N19/172;H04N19/20;H04N19/51
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種支持機器智能的通用視頻壓縮編碼方法，針對機器智能分析任務進行壓縮，將會得到能夠實現相同機器智能分析任務時相較針對人眼壓縮更高的壓縮比，減少需要傳輸的信息，減輕傳輸負擔；壓縮得到特征能夠直接應用于機器智能分析任務，不需要額外解碼和處理，減少計算量，加速機器分析任務的進行，支持邊緣計算的實現；此外，支持在編碼壓縮之前對原視頻/圖像上進行部分分析，不僅可以提高智能分析精度，還可生成結構化壓縮碼流，并支持后續更多的智能分析任務。綜上所述，上述方法能夠使得面向機器進行視頻/圖像壓縮這一過程更加的通用、靈活、高效。

技術領域

本發明涉及視頻/圖像壓縮編碼技術領域，尤其涉及一種支持機器智能的通用視頻壓縮編碼方法。

背景技術

現有視頻/圖像壓縮標準主要針對的是面向人眼視覺的壓縮，其目標是在人眼觀看視頻的失真一定的情況下，視頻碼率盡可能低。而隨著機器學習的算法逐漸成熟，機器智能分析任務也逐漸開始被應用于人類社會生活生產的各個領域，例如智能工廠，智能城市，智能交通等等。實現這一系列應用往往伴隨著對于大量視頻/圖像數據的分析，采用傳統方法，視頻/圖像先用現有標準進行壓縮，在進行分析前需要對壓縮碼流進行解碼操作，得到壓縮后的視頻/圖像，然后再對壓縮恢復后的視頻/圖像進行分析。然而，存在如下問題：1)由于傳統視頻/圖像壓縮標準針對的是人眼視覺，壓縮碼流中可能用大量碼率表示視頻/圖像分析中不需要的內容，這樣會給傳輸帶來沉重的負擔。2)由于傳統方法中需要解碼恢復壓縮的視頻/圖像，然后再進行分析，這樣還將會造成時延，導致用戶體驗不佳。3)由于壓縮恢復的視頻/圖像具有一定的失真，分析會出現錯誤甚至更加嚴重的問題。

隨著邊緣計算和終端智能技術的發展，更多的機器智能分析能夠在邊緣服務器或者終端設備上對視頻/圖像進行處理分析，因此如果能夠實現面向機器的編碼方法，編碼后碼流中只包含對機器智能分析有用的內容，將會大大降低機器智能分析任務需要傳輸的數據量。同時編碼后的碼流可以直接用于機器智能分析的任務中，不必恢復壓縮的視頻/圖像，因此可以減少計算時延，提高處理效率。因此將部分機器智能分析編碼之前進行，提升碼流的結構化功能，利于執行后續的智能分析任務。

現有技術中，視覺搜索緊湊描述子國際標準(CDVS，Compact Descriptors forVisual Search)針對檢索任務所需的視頻/圖像特征進行編碼，在一定程度上滿足了以上需求，但是其碼流只能用于搜索任務，應用場景單一，不能滿足更多通用智能應用對于壓縮編碼的需求。因此，非常需要一種支持機器智能的通用視頻壓縮編碼方法。

發明內容

本發明的目的是提供一種支持機器智能的通用視頻壓縮編碼方法，以實現針對各個任務所需視頻/圖像特征信息的編碼，從而提高智能任務分析準確性，減輕數據傳輸壓力。

本發明的目的是通過以下技術方案實現的：

一種支持機器智能的通用視頻壓縮編碼方法，包括：幀內編碼和幀間編碼兩部分；其中：

幀內編碼部分包括：對于輸入視頻幀，先進行物體檢測，得到各個物體的空間位置信息和類別信息；基于各個物體的空間位置信息和類別信息進行屬性解析、以及關系推理，獲得各物體的屬性信息、以及物體之間的拓撲關系；再將各個物體的空間位置信息和類別信息作為指導信息，利用物體的空間位置信息對輸入視頻幀進行編碼單元的劃分，并對劃分后的編碼單元進行編碼，編碼得到的碼流中所包含的物體的類別信息用于幀間編碼部分的視頻幀重建過程；

幀間編碼部分包括：以輸入視頻幀或目標為單元進行視頻幀的重建，并通過運動補償，獲得光流預測信息和殘差編碼信息；

將幀內編碼部分獲得的各個物體的空間位置信息和類別信息、各物體的屬性信息、物體之間的拓撲關系、編碼后的編碼單元、以及幀間編碼部分獲得的光流預測信息和殘差編碼信息進行熵編碼，獲得相應的碼流。