[發明專利]一種基于目標檢測與跟蹤的智能視頻編碼方法

有效

• 申請號: 201810845985.6
• 申請日: 2018-07-27
• 公開（公告）號: CN109005409B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 朱威;王東洋;王義鋒;吳遠;陳朋;鄭雅羽
• 申請（專利權）人: 浙江工業大學
• 主分類號: H04N19/167
• 分類號: H04N19/167;H04N19/20
• 代理公司: 杭州賽科專利代理事務所(普通合伙) 33230
• 代理人: 郭薇

本發明涉及一種基于目標檢測與跟蹤的智能視頻編碼方法，包括以下步驟：（1）輸入原始視頻圖像和目標對象類別的權重值；（2）生成檢測跟蹤圖像；（3）目標對象檢測；（4）目標對象特征提取；（5）目標對象跟蹤；（6）生成感興趣區域；（7）計算感興趣區域量化參數下調值；（8）視頻圖像編碼。通過深度學習檢測感興趣目標對象及確定感興趣區域，提高檢測效率和準確度，可以有效保證感興趣區域的圖像質量，同時本發明將檢測到的目標對象信息壓入碼流中，有利于后期的視頻檢索與摘要。

技術領域

本發明涉及視頻編碼技術領域，特別涉及一種基于目標檢測與跟蹤的智能視頻編碼方法。

背景技術

目前常用的視頻圖像分辨率已經達到1080P高清，正逐漸向4K和8K超清方向發展，這些高分辨率視頻的碼流數據在傳輸和存儲方面受到巨大的挑戰。對于主要采用高分辨率視頻且對實時性和圖像質量要求較高的視頻監控、視頻會議等應用領域，如何在有限的網絡帶寬和存儲空間下合理分配碼率資源至關重要。在視頻信息處理領域，感興趣區域的提出與應用主要利用了人類視覺系統(Human Visual System,HVS)的特征。HVS在面對一個復雜場景時優先將注意力集中在少數幾個具有顯著視覺特征的視頻對象上，對場景中的不同區域給于不同級別的關注程度。因此，在對整個視頻圖像區域進行處理時，那些不符合人眼特性的區域會造成碼流資源和計算資源的浪費。感興趣區域(Region of Interest,ROI)在視頻編碼領域中的主要應用體現在優先保證人眼關注區域的圖像清晰度，并降低非關注區域的碼流比特數。此外，ROI中清晰目標對象也為后續高質量的智能視頻分析打下良好基礎。

在視頻監控等應用中，除了運動區域之外，靜止區域也很有可能包含重要的監控目標。目前大多數感興趣區域獲取方法主要分為兩類：一種是用戶指定一塊區域，此類方法只能選擇固定區域當作感興趣區域，其靈活性受到限制；另一種是基于運動目標檢測的方法，此類方法缺點是依賴運動目標的檢測，但運動的目標也可能是非感興趣的目標，而靜止的目標也有可能是用戶感興趣的目標。近年來，深度學習取得了重大突破，其在圖像分類、人臉識別、語音識別等領域取得了不錯效果，其中卷積神經網絡就是一種采用深度學習技術的深度神經網絡，該網絡能夠利用大量的訓練樣本深入地學習圖像的抽象信息，更靈活地獲取圖像特征。在計算機視覺應用方面，SSD(Single Shot multiBox Detector)檢測模型是典型的神經網絡模型，結合了YOLO和FasterRCNN兩者的優點。標準的SSD框架可以分為基礎網絡、檢測網絡和分類網絡。SSD的基礎網絡也稱為特征提取層，可以采用常見的特征提取網絡包括ResNet、VGG-Net、Inception-Net，并由此衍生出各種改進的SSD模型。目前，基于VGG-Net的SSD模型在高配置的GPU上可以達到實時性要求，但在計算性能一般的設備、尤其在小型嵌入式設備進行目標檢測時仍難以滿足實時應用需求。為此，學術界也涌現出一批輕量型神經網絡，代表性的模型主要有MobileNet、ShuffleNet、SqueezeNet和XceptionNet。這些模型的參數較少，層數不多，減少了訓練和推理的計算量，同時也具備較好的檢測準確率。

在視頻編碼處理中，對于感興趣區域和非感興趣區域的處理往往通過設置不同的量化參數值來實現。量化參數(Quant Parameter,QP)是量化步長(Q_step)的編號，對于目前主流的H.264和HEVC編碼標準而言，Q_step共有52個值，對應的QP取值范圍為[0,51]。QP和ln(Q_step)之間具有線性相關性，Q_step隨著QP的增加而增大，每當QP值增加6，Q_step便增加一倍。當QP取最小值0時，Q_step值最小，表示量化最精細；反之，當QP取最大值51時，Q_step值最大，表示量化是最粗糙。目前推出的主流視頻編解碼處理芯片都支持對若干個矩形區域進行QP相對值的設置，方便用戶根據需求實現感興趣區域編碼。