[發明專利]一種圖像后期和諧化處理方法、系統及終端

有效

• 申請號: 202110494193.0
• 申請日: 2021-05-07
• 公開（公告）號: CN113269792B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 宋利;凌軍;解蓉
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T5/50;G06V10/774
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種圖像后期和諧后處理方法，其特征在于，包括：

S11：利用前景掩膜分割圖指示待處理區域，得到前景掩膜區域圖，在每一歸一化層，將所述前景掩膜區域圖縮放到與該歸一化層的特征大小相同；

S12：區域自適應實例歸一化層根據縮放后的前景掩膜區域圖，從同一輸入圖像特征圖的背景區域提取出統計特征，并將所述統計特征通過反調制應用到前景區域的特征上，使得同一圖像的前景與背景在特征部分具有相似的統計特征；

S13：將所述S12得到的區域自適應實例歸一化層應用到圖像和諧化映射網絡中，將輸入圖像的前景圖像輸入到所述圖像和諧化映射網絡中，輸出已將前景圖像調整后的圖像；

所述S12進一步包括：

S121：在縮放后的前景掩膜區域圖的指示下，對同一輸入圖像特征圖的前景區域以及背景區域分別進行特征歸一化；

S122：從歸一化后的背景區域按照通道的方式提取出統計特征，包括：沿通道的平均值統計特征以及標準差統計特征；

S123：將所述S122得到的標準差統計特征乘以歸一化后的前景區域的特征，再加上所述S122得到的平均值統計特征；

所述S121中，歸一化方式為：

其中，

其中，Fⁱ為第i個歸一化層的輸入特征，Mⁱ為第i層經過縮放后的前景掩碼區域圖，而下標h,w,c表示在該位置的特征值，∈表示一個小量，設為10^-7，#{Mⁱ＝1}表示第i層前景掩碼中像素值非零的像素個數，°為哈達瑪乘積；

所述S122中，平均值統計特征以及標準差統計特征的公式為：

其中，Fⁱ為第i個歸一化層的輸入特征，為第i層經過縮放后的背景掩碼區域圖，并通過公式計算得到，而下標h,w,c表示在該位置的特征值，∈表示一個小量，設為10^-7，表示該層背景掩碼中像素值非零的像素個數，°為哈達瑪乘積；

所述S123，反調制公式為：

所述圖像和諧化映射網絡包括：編碼器、解碼器，所述S13進一步包括：

S131：利用編碼器網絡來編碼、抽取輸入圖像的深層次特征，在編碼器中利用所述區域自適應實例歸一化層從編碼器特征的背景特征中提取出統計特征，并應用到前景特征；

S132：利用解碼器網絡來解碼、映射編碼器和解碼器的深層次特征，在所述解碼器中利用所述區域自適應實例歸一化層從解碼器特征的背景特征中提取出統計特征，并應用到前景特征上；

S133：通過跨越連接將所述S131得到的結果與所述S132得到的結果進行級聯，以減少跨步卷積帶來的信息損失并保持圖像的高分辨率特征；

S134：將經過所述S133處理后的特征解碼成圖像；

所述S133之后還包括：

S51：從所述S133得到的特征中學習出一個通道注意力權重，再利用所述通道注意力權重乘以所述S133得到的特征；

進一步地，所述S134為：將經過所述S51處理后的特征解碼成圖像。