[發明專利]一種任務驅動的碼流結構化圖像編碼方法

有效

• 申請號: 201910474710.0
• 申請日: 2019-06-03
• 公開（公告）號: CN110225341B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 陳志波;何天宇;孫思萌
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/147;H04N19/42;H04N19/44;H04N19/50;H04N19/70;H04N19/91;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

1.一種任務驅動的碼流結構化圖像編碼方法，其特征在于，包括：碼流結構化編碼器和解碼器，碼流結構化編碼器實現輸入圖像的結構化表示和壓縮，解碼器根據壓縮得到的特征對輸入圖像進行重構；所述碼流結構化編碼器包括：特征提取、目標檢測、量化、預測編碼過程和基于對象的碼流劃分過程；

特征提取過程，對輸入圖像進行多尺度特征提取和融合，其輸出的特征同時作為量化和目標檢測的輸入；

目標檢測過程，包含一個區域決策模塊和對齊模塊，對所述特征進行基于對象的檢測，輸出檢測結果輔助結構化編碼的實現，實現過程為：輸入的所述特征通過區域決策模塊得到所有對象可能存在區域的邊界框(bounding boxes)，所有可能結果經過對齊模塊處理后，進行分類任務，并對每個邊界框(bounding boxes)計算損失函數，隨后通過閾值處理，判決得到得分最高的結果作為最終輸出結果，輸出結果包括邊界框和類別標簽；

量化過程，對輸入的所述特征做數字化的處理；

預測編碼過程，預測編碼模塊根據壓縮結果即特征提取的輸出，預測后續的特征值，根據重建圖像內容自適應地調整局部區域碼率，生成重要性映射圖，從而更好地控制率失真的平衡，得到更好的壓縮性能；

基于對象的碼流劃分過程：將量化后的特征在空間維度上進行基于對象的劃分，劃分依據為目標檢測的輸出結果，即邊界框和類別標簽，劃分過程為：在量化后的特征上，根據邊界框切割出對象對應的區域，類別標簽指明對象的類別信息；經過劃分的不同部分特征將依次通過熵編碼處理形成結構化的碼流，同時，邊界框和類別標簽將會被編碼到頭信息中。

2.根據權利要求1所述的任務驅動的碼流結構化圖像編碼方法，其特征在于：所述特征提取過程以及解碼器中增加了附加卷積層，選擇設置3層卷積層，針對高碼率訓練好完整網絡后，當有不同比特率壓縮需求時，不再需要訓練整個網絡，只需要訓練附加層的參數即可；對于針對不同碼率訓練好的若干個附加卷積層，根據實際需求替換附加層參數便實現不同碼率的壓縮。

3.根據權利要求1所述的任務驅動的碼流結構化圖像編碼方法，其特征在于：所述預測編碼過程具體實現如下：

(1)量化后的特征作為輸入，預測編碼模塊根據已經處理過的輸入特征樣本，預測出當前的輸入特征樣本的特征值，根據重建圖像內容自適應的調整局部區域碼率，生成重要性映射圖；

(2)重要性映射圖與量化后的特征進行點積操作，對量化后的特征進行基于重建圖像內容的自適應調整，降低碼率的同時使得重建圖像具有更好的重建效果。

4.根據權利要求1所述的任務驅動的碼流結構化圖像編碼方法，其特征在于：所述基于對象的碼流劃分過程具體實現過程如下：

(1)根據目標檢測過程的輸出結果——邊界框和類別標簽，對量化后的特征進行處理，即邊界框即歸一化的指定了對象所處的位置和所占范圍的大小，根據邊界框在空間維度上對特征進行切割，得到含有當前對象所有信息的特征，對應的類別標簽指明了該對象的類別信息；

(2)對圖像中的所有對象進行步驟(1)操作后，得到所有對象對應的特征信息和對象的類別信息，基于對象的特征信息依次經過熵編碼后形成碼流，同時邊界框和類別標簽按照同樣的順序依次編碼放入頭信息中，由此，根據終端不同的任務，選擇恢復完整圖像，恢復部分圖像，或者直接利用部分碼流進行機器智能分析任務。