[發明專利]基于視覺顯著性和通道注意力機制的色彩傳遞方法

有效

• 申請號: 202210143960.8
• 申請日: 2022-02-17
• 公開（公告）號: CN114187380B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 阮翊婷;丁柱;羅紹儀
• 申請（專利權）人: 杭州并堅科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T7/90;G06N3/08
• 代理公司: 浙江和納律師事務所 33314
• 代理人: 李贊堅

本發明公開了一種基于視覺顯著性和通道注意力機制的色彩傳遞方法，屬于數字圖像處理技術領域。本發明基于參考圖像的視覺顯著性特征提取，并基于結合了通道注意力機制的生成對抗網絡模型，提出了針對參考圖像顏色特征進行著色的色彩傳遞方法，提高了顏色特征提取的準確性和最終色彩傳遞的效果，能夠獲得色彩更加真實、自然的著色結果，并且該結果能夠學習到更符合人眼視覺系統認知的參考圖像顏色風格。

技術領域

本發明屬于數字圖像處理技術領域，尤其涉及基于視覺顯著性和通道注意力機制的色彩傳遞方法。

背景技術

圖像著色課題的研究目標是對灰度圖像或黑白線稿添加顏色，可以應用多種場景，例如醫學影像著色、老照片色彩重建、漫畫線稿著色等，具有較高的應用價值。

在圖像著色技術發展之前，早期的純手工著色方式往往是由藝術家們通過手工的方式在膠片上繪制顏色，但是該過程通常需要花費較長的時間以及較多的人力物力，且需要上色者有一定的美術功底。在1970年，威爾遜·馬克爾最早提出了著色（colorization）這個術語，用于描述他為黑白電影、電視節目等添加色彩而發明的計算機輔助技術。隨后也出現了很多利用圖像處理技術來進行著色的方法。近幾年，隨著深度學習技術的快速發展，有研究學者們開始使用神經網絡進行圖像著色的研究，且取得了不錯的著色結果。

按照是否依賴用戶引導，可以將基于深度學習的圖像著色方法分為自動式著色方法和交互式著色方法，自動式著色方法只需要向網絡中輸入線稿圖像（或灰度圖像）就可以得到著色之后的圖像，交互式著色方法則還需要用戶添加一定的引導，例如點、線或參考圖像等交互。其中，以用戶提供參考圖像的為引導的著色方法，需要用戶提供一副參考圖像，然后著色模型會學習該參考圖像的顏色特征，并以此對線稿圖像（或灰度圖像）進行著色，這一類方法也稱為色彩傳遞方法，即將色彩從參考圖像傳遞到待著色圖像。

生成對抗網絡（Generative Adversarial Networks，GANs）是一類無監督學習算法，它通過生成器和判別器兩個模型相對對抗和優化，能夠生成更加真實的圖像，給圖像生成領域上帶來了較大的發展。因此，近幾年，生成對抗網絡也成為了圖像著色領域中的主流網絡模型。

利用生成對抗網絡進行著色模型的訓練，能夠得到質量較高的著色結果，但是當前主流方法的著色結果依舊存在著一定的問題：一是由于大部分的生成對抗網絡中仍采用了卷積結構，而由于卷積神經網絡本身的感受野限制，著色模型缺乏對遠距離特征的捕捉，導致對圖像中各個位置的理解不夠充分，影響到局部區域的著色；二是生成圖像細節的不足，這是由于生成網絡在下采樣特征提取過程中以及判別網絡的圖像判別過程中，會存在大量的冗余特征，這會影響到模型的特征學習能力，導致著色圖像的細節信息不足。

發明內容

為解決上述技術問題，本發明提供了基于視覺顯著性和通道注意力機制的色彩傳遞方法，利用生成對抗網絡進行圖像色彩傳遞任務，同時結合了視覺顯著性機制和通道注意力機制，通過視覺顯著性機制更好的捕捉到參考圖像的顏色風格，通過通道注意力機制獲得圖像的全局上下文特征與通道間的依賴關系，得到更加真實、細節更加豐富的著色結果。

為實現上述目的，本發明采用以下技術方案：

提供一種基于視覺顯著性和通道注意力機制的色彩傳遞方法，所述方法包括以下步驟：

S10：分別讀取原始圖像和若干未著色圖像，并將所述原始圖像作為色彩傳遞模型的參考圖像；其中，所述未著色圖像的圖像類型包括灰度圖像和線稿圖像。

S20：對參考圖像進行視覺顯著性檢測，根據其頻率先驗、位置先驗、顏色先驗三種先驗知識分別計算頻率顯著性、位置顯著性和顏色顯著性，再通過頻率顯著性、位置顯著性和顏色顯著性計算得到所述參考圖像的顯著性特征圖。

S30：將參考圖像的顏色三通道劃分呈N個顏色區間，記為，并取每個區間的顏色中心值作為代表顏色，再對每個顏色區間查找參考圖像中屬于該顏色區間的像素點的位置分布并記錄，記為，其中，。