[發明專利]基于深度學習的感興趣區域圖像編碼、解碼系統及方法

有效

• 申請號: 201910240106.1
• 申請日: 2019-03-27
• 公開（公告）號: CN109889839B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 陳立;蔡春磊;張小云;高志勇;魯國
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N19/167
• 分類號: H04N19/167;H04N19/146;H04N19/147;H04N19/91;H04N19/182;H04N19/124;H04N19/44;H04N19/33
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種基于深度學習的感興趣區域圖像編碼系統，其特征在于，包括：

感興趣區域編碼網絡模塊，該模塊基于深度卷積神經網絡，將輸入原始圖像分解為多個尺度的圖像特征并進行量化，同時對所述原始圖像進行圖像分析得到感興趣區域掩模矩陣，將量化的所述多個尺度的圖像特征以及所述感興趣區域掩模矩陣發送至碼率分配模塊；

碼率分配模塊，根據所述感興趣區域編碼網絡模塊得到的所述感興趣區域掩模矩陣和所述多個尺度的圖像特征進行碼率分配，并將分配后的整數圖像特征作為編碼結果發送至熵編碼模塊；

熵編碼模塊，將所述碼率分配模塊分配后的整數圖像特征編碼為二進制碼流并輸出；

所述基于深度學習的感興趣區域圖像編碼系統還包括參數離線訓練過程，步驟如下：

A1：在高清自然訓練圖像中隨機裁剪256×256的圖像塊組成訓練集，并對所述圖像塊進行隨機翻轉以擴充訓練數據，同時對人工標注好的感興趣區域真值掩模圖像進行同樣的操作，并將兩次操作的結果組成數據標簽對以供訓練；

A2：對網絡中的量化操作使用加均勻分布的隨機噪聲來近似，對生成感興趣區域掩模時的硬判決操作使用軟判決來近似；

A3：利用隨機梯度下降算法對整個系統的參數進行聯合優化，直到率失真損失收斂；

在所述隨機梯度下降算法中，損失函數是碼率、感興趣區域的失真和整張圖的平均失真的加權和；其中感興趣區域的失真由像素級失真衡量，整張圖的平均失真由全局性結構失真衡量。

2.如權利要求1所述的基于深度學習的感興趣區域圖像編碼系統，其特征在于，所述感興趣區域編碼網絡模塊基于深度卷積神經網絡構建而成，其中：卷積層采用標準的卷積神經網絡層；歸一化層和采用廣義歸一化層；通道連接操作將多個尺度的圖像特征在通道維度上連接在一起，輸出完整的特征圖。

3.如權利要求1所述的基于深度學習的感興趣區域圖像編碼系統，其特征在于，所述碼率分配模塊基于高效的元素過濾或元素乘法操作。

4.一種感興趣區域圖像解碼系統，其特征在于，用于解碼權利要求1所述系統形成的編碼，包括：

熵解碼模塊，對經過熵編碼后輸出的二進制碼流進行熵解碼，得到圖像特征并輸出至感興趣區域解碼網絡模塊；

感興趣區域解碼網絡模塊，基于深度卷積神經網絡將熵解碼得到的圖像特征重構為解碼圖像并輸出。

5.如權利要求4所述的感興趣區域圖像解碼系統，其特征在于，所述感興趣區域解碼網絡模塊基于深度卷積神經網絡構建而成，其中：反卷積層采用標準的卷積神經網絡層；反歸一化層采用廣義反歸一化層；通道分離操作將圖像特征在通道維度上平均分成多組特征圖輸出。

6.一種基于深度學習的感興趣區域圖像編碼方法，其特征在于，包括：

S101：將原始圖像輸入感興趣區域編碼網絡模塊，輸出得到多尺度圖像特征以及感興趣區域掩模矩陣；

S102：對S101中得到的多尺度圖像特征量化為整數；

S103：根據感興趣區域掩模矩陣對S102中得到的量化成整數的多尺度圖像特征進行碼率分配；

S104：對S103中得到的分配后的圖像特征進行熵編碼，得到二進制碼流并輸出；

所述基于深度學習的感興趣區域圖像編碼方法還包括參數離線訓練過程，步驟如下：

A1：在高清自然訓練圖像中隨機裁剪256×256的圖像塊組成訓練集，并對所述圖像塊進行隨機翻轉以擴充訓練數據，同時對人工標注好的感興趣區域真值掩模圖像進行同樣的操作，并將兩次操作的結果組成數據標簽對以供訓練；

A2：對網絡中的量化操作使用加均勻分布的隨機噪聲來近似，對生成感興趣區域掩模時的硬判決操作使用軟判決來近似；

A3：利用隨機梯度下降算法對整個系統的參數進行聯合優化，直到率失真損失收斂；

在所述隨機梯度下降算法中，損失函數是碼率、感興趣區域的失真和整張圖的平均失真的加權和；其中感興趣區域的失真由像素級失真衡量，整張圖的平均失真由全局性結構失真衡量。