[發明專利]一種任務驅動的碼流結構化圖像編碼方法

有效

• 申請號: 201910474710.0
• 申請日: 2019-06-03
• 公開（公告）號: CN110225341B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 陳志波;何天宇;孫思萌
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/147;H04N19/42;H04N19/44;H04N19/50;H04N19/70;H04N19/91;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

本發明涉及一種任務驅動的碼流結構化圖像編碼方法，包括：碼流結構化編碼器和解碼器，碼流結構化編碼器實現輸入圖像的結構化表示和壓縮，解碼器根據壓縮得到的特征對輸入圖像進行重構；所述碼流結構化編碼器包括：特征提取、目標檢測、量化、預測編碼過程和基于對象的碼流劃分過程；本發明對圖像進行編碼，編碼過程中在特征層面檢測對象，并基于檢測結果進行結構化碼流的生成，以實現根據不同的智能分析任務針對性選擇部分結構化碼流或者全部碼流進行解析的目的，使得圖像編碼傳輸應用這一過程更為高效和靈活。

技術領域

本發明涉及一種任務驅動的碼流結構化圖像編碼方法，屬于圖像編碼和深度學習技術領域。

背景技術

現有的基于學習的圖像壓縮方法，多從率失真的角度考慮進行優化的。但隨著深度學習應用相關研究工作的逐步深入和成熟，圖像或者視頻信息在越來越多的場合會被用作機器智能分析任務的輸入，例如監控視頻分析、自動駕駛、遠程交互、遠程醫療等等。目前的方法都是需要對壓縮的圖像或者視頻二進制碼流數據進行傳輸、儲存和解碼，恢復成圖像視頻信號再進行機器智能分析，隨著大量圖像視頻數據的采集和處理，這會需要大量的傳輸帶寬、存儲空間和解碼運算。隨著5G和邊緣計算的發展，更多的智能分析可以在邊緣服務器進行處理，因此如果能夠設計具有結構化碼流的圖像視頻編碼方法，實現無需對碼流進行解碼重建圖像，僅僅通過對碼流進行部分解析就能實現諸多智能分析任務，將極大地降低所需的傳輸帶寬、存儲空間和解碼運算，推進未來5G邊緣計算與智能多媒體計算的結合和廣泛應用。

發明內容

本發明技術解決問題：克服現有技術的不足，提供一種任務驅動的碼流結構化圖像編碼方法，對圖像進行編碼，編碼過程中在特征層面檢測對象，并基于檢測結果進行結構化碼流的生成，以實現根據不同的智能分析任務針對性選擇部分結構化碼流或者全部碼流進行解析的目的，使得圖像編碼傳輸應用這一過程更為高效和靈活。

本發明技術解決方案：

一種任務驅動的碼流結構化圖像編碼方法，包括：碼流結構化編碼器和解碼器，碼流結構化編碼器實現輸入圖像的結構化表示和壓縮，解碼器根據壓縮得到的特征對輸入圖像進行重構；所述碼流結構化編碼器包括：特征提取、目標檢測、量化、預測編碼過程和基于對象的碼流劃分過程；

特征提取過程，對輸入圖像進行多尺度特征提取和融合，其輸出的特征同時作為量化和目標檢測的輸入；

目標檢測過程，包含一個區域決策模塊和對齊模塊，對所述特征進行基于對象的檢測，輸出檢測結果輔助結構化編碼的實現，實現過程為：輸入的所述特征通過區域決策模塊得到所有對象可能存在區域的邊界框(bounding boxes)，所有可能結果經過對齊模塊處理后，進行分類任務，并對每個邊界框(bounding boxes)計算損失函數，隨后通過閾值處理，判決得到得分最高的結果作為最終輸出結果，輸出結果包括邊界框和類別標簽；

量化過程，對輸入的所述特征做數字化的處理；

預測編碼過程，預測編碼模塊根據壓縮結果即特征提取的輸出，預測后續的特征值，根據重建圖像內容自適應地調整局部區域碼率，生成重要性映射圖，從而更好地控制率失真的平衡，得到更好的壓縮性能；

基于對象的碼流劃分過程：將量化后的特征在空間維度上進行基于對象的劃分，劃分依據為目標檢測的輸出結果，即邊界框和類別標簽，劃分過程為：在量化后的特征上，根據邊界框切割出對象對應的區域，類別標簽指明對象的類別信息；經過劃分的不同部分特征將依次通過熵編碼處理形成結構化的碼流，同時，邊界框和類別標簽將會被編碼到頭信息中。

所述特征提取過程以及解碼器中增加了附加卷積層，當有不同比特率壓縮需求時，不再需要訓練整個網絡，只需要訓練附加層的參數即可。

所述預測編碼過程具體實現如下：