[發明專利]基于語義失真度量的視頻編碼的比特分配系統及方法

有效

• 申請號: 201910286965.4
• 申請日: 2019-04-10
• 公開（公告）號: CN110225342B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 陳志波;李業;石雋
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/136
• 分類號: H04N19/136;H04N19/147;H04N19/196;H04N19/172;H04N19/176;G06N3/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本公開提供了基于語義失真度量的視頻編碼的比特分配系統及方法其比特分配系統，包括：重要性圖提取模塊、比特分配模塊和編碼器模塊；重要性圖提取模塊在語義理解任務驅動下，從原始視頻中提取空域和/或時域的關鍵特征，得到表征視頻不同空域和/或時域內容對于語義理解任務重要性程度的權重因子的圖，作為重要性圖；比特分配模塊接收所述重要性圖提取模塊提供的視頻不同空域和/或時域內容的權重因子，為視頻不同區域和不同幀分配比特，并確定編碼參數；編碼器模塊接收所述比特分配模塊確定的編碼參數，進行編碼，同時將編碼后的結果反饋給比特分配模塊。本公開在實際應用中可根據具體視頻分析任務，對不同的語義分析任務具有靈活性。

技術領域

本公開涉及視頻編碼的比特分配領域，尤其涉及一種基于語義失真度量的視頻編碼的比特分配系統及方法。

背景技術

在當前視頻技術的應用場景下，視頻編碼和視頻分析被當做兩個獨立的過程，由不同的模塊完成。其中比特分配的目的是為視頻的不同空域區域和不同的時域幀分配合適的比特，以達到在總編碼比特限制的條件下，最優化編碼后視頻的失真度量。一般視頻編碼后的失真可分為三個等級，即像素級失真，感知級失真和語義級失真。

隨著計算機視覺技術的不斷發展，未來的視頻在更多應用場景下是由機器進行語義級的智能分析，如目標跟蹤、行人重識別等，這就需要在視頻壓縮過程中要保證語義信息不丟失。然而由于在已有技術中視頻編碼獨立于視頻分析進行，編碼過程少有考慮后續視頻分析的應用。

因此在編碼的優化過程中，考慮的只有像素級失真和感知級失真，這樣導致的后果就是經編碼后的視頻會損失語義信息，也就使得機器進行語義分析時準確度下降。

發明內容

(一)要解決的技術問題

本公開提供了一種基于語義失真度量的視頻編碼的比特分配系統及方法，以至少部分解決以上所提出的技術問題。

(二)技術方案

根據本公開的一個方面，提供了一種基于語義失真度量的視頻編碼的比特分配系統，包括：重要性圖提取模塊、比特分配模塊和編碼器模塊；重要性圖提取模塊在語義理解任務驅動下，從原始視頻中提取空域和/或時域的關鍵特征，得到表征視頻不同空域和/或時域內容對于語義理解任務重要性程度的權重因子的圖，作為重要性圖。比特分配模塊接收所述重要性圖提取模塊提供的視頻不同空域和/或時域內容的權重因子，為視頻不同區域和不同幀分配比特，并確定編碼參數。編碼器模塊接收所述比特分配模塊確定的編碼參數，進行編碼，同時將編碼后的結果反饋給比特分配模塊。

根據本公開的另一個方面，提供了一種基于局域語義失真度量的視頻編碼的比特分配方法，包括：步驟S100：在語義理解任務驅動下，從原始視頻中提取空域和/或時域的關鍵特征，得到表征視頻不同空域和/或時域內容對于語義理解任務重要性程度的權重因子的圖，作為重要性圖；步驟S200：接收所述步驟S100提供的視頻在特定語義理解任務下的重要性圖，為視頻不同區域和不同幀分配比特，并確定編碼參數；步驟S300：接收所述步驟S200確定的編碼參數，進行編碼，同時將編碼后的結果反饋給比特分配模塊。

在本公開的一些實施例中，所述步驟S100包括：子步驟S110：基于已經訓練好的用于語義分析任務的神經網絡，對原始視頻中的輸入圖像進行一次前向傳播計算；子步驟S120：從語義分析任務的神經網絡的輸出端選取某個神經元，從該神經元的輸出量執行一次反向傳播計算，得到最后一層卷積層特征圖的梯度；子步驟S130：從子步驟S120得到卷積層特征圖的梯度，經過全局平均池化和加權求和，得到梯度熱度圖；子步驟S140：從子步驟S120中選取神經元的輸出量執行一次導向反向傳播計算，得到輸入圖像的梯度，即導向傳播圖；子步驟S150：將子步驟S130得到的梯度熱度圖進行上采樣操作，使其變成與輸入圖像相同大小，然后將上采樣后的梯度熱度圖與子步驟S140中得到的導向傳播圖相加，得到最終的表征了原始視頻不同空域和/或時域內容權重因子的重要性圖。