[發明專利]一種圖像處理方法、裝置、終端設備及存儲介質

在審

• 申請號: 202110882192.3
• 申請日: 2021-08-02
• 公開（公告）號: CN113781320A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 章政文;陳翔宇;董超;喬宇
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 胡明強

本申請提供一種圖像處理方法、裝置、終端設備及存儲介質，應用于圖像處理領域。本申請提供的圖像處理方法包括：利用已訓練的優化模型對待處理圖像進行目標類型優化處理，得到初始優化圖像；通過已訓練的局部增強模型對初始優化圖像進行局部增強處理，得到增強圖像；將增強圖像和待處理圖像的過曝掩模圖像輸入到已訓練的補償模型中進行處理，對增強圖像的高亮區域進行信息補償，得到補償圖像，過曝掩模圖像指示高亮區域。本申請提供的圖像處理方法、裝置、終端設備及存儲介質可以提高圖像優化處理任務中優化圖像的質量。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種圖像處理方法、裝置、終端設備及存儲介質。

背景技術

圖像優化處理任務一般包括圖像修飾與調色、圖像美化、圖像去噪、圖像超分辨、圖像增強等針對圖像的優化任務。有些優化任務是針對待處理視頻中的每一幀視頻幀進行優化，也可以視為圖像優化任務，例如SDR視頻轉HDR視頻、視頻去噪、視頻超分辨等。經圖像處理后的優化圖像與原始圖像相比可以更好地反應真實場景中的視覺信息。現有技術中，在利用傳統的圖像處理方法執行上述任務時，一般僅利用與處理任務相關的深度學習模型對原始圖像進行處理，例如僅利用圖像去噪模型對原始圖像進行去噪、利用HDR轉換模型將SDR視頻幀轉換成HDR視頻幀等，通過這類方法實現圖像優化處理任務時，可能會丟失許多的信息，導致優化圖像中存在較多的偽影和色彩偏差，優化圖像的質量較差。

發明內容

本申請實施例提供了一種圖像處理方法、裝置、終端設備及存儲介質，可以提高圖像優化處理任務中優化圖像的質量。

第一方面，本申請實施例提供了一種方法，該方法包括：利用已訓練的優化模型對待處理圖像進行目標類型優化處理，得到初始優化圖像；通過已訓練的局部增強模型對初始優化圖像進行局部增強處理，得到增強圖像；將增強圖像和待處理圖像的過曝掩模圖像輸入到已訓練的補償模型中進行處理，對增強圖像的高亮區域進行信息補償，得到補償圖像，過曝掩模圖像指示高亮區域。

本申請提供的圖像處理方法，可以先利用優化模型對待處理圖像進行目標類型優化處理，得到初始優化圖像。針對初始優化圖像中丟失的局部信息，可以利用局部增強模型進行增強處理，對損失的紋理細節信息進行重建，得到增強圖像。然后基于待處理圖像對應的過曝光圖像中指示的高亮區域，通過補償模型對增強圖像進行處理，以補償過曝光區域中丟失的內容信息。本申請利用串聯的多個深度學習模型對圖像優化處理任務中得到的初始優化圖像進行信息補償，可以避免優化圖像中出現偽影以及色彩偏差，以提高優化圖像的質量。

可選地，局部增強模型包括：下采樣模塊、上采樣模塊以及設置在下采樣模塊和上采樣模塊之間的多個殘差網絡。

可選地，過曝掩模圖像中像素點的像素值的確定方法包括：根據公式確定過曝掩模圖像中像素點的像素值，其中，I_mask(x,y)表示過曝掩模圖像位于(x,y)處的像素點的像素值，I_s(x,y)表示待處理圖像位于(x,y)處的像素點的像素值，λ表示預設的過曝閾值。

可選地，補償模型包括生成器；將增強圖像和待處理圖像的過曝掩模圖像輸入到已訓練的補償模型中，對增強圖像的高亮區域進行信息補償，包括：將增強圖像輸入到已訓練的生成器中進行處理，得到全局曝光信息；根據待處理圖像的過曝掩模圖像和全局曝光信息確定高亮區域的過曝光信息；利用過曝光信息對高亮區域進行補償，得到補償圖像。

可選地，分別對優化初始模型、局部增強初始模型和補償初始模型進行訓練，得到對應的優化模型、局部增強模型和補償模型。