[發(fā)明專利]基于視覺顯著性和通道注意力機制的色彩傳遞方法

有效

• 申請?zhí)枺?/td>: 202210143960.8
• 申請日: 2022-02-17
• 公開（公告）號: CN114187380B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設計）人: 阮翊婷;丁柱;羅紹儀
• 申請（專利權）人: 杭州并堅科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T7/90;G06N3/08
• 代理公司: 浙江和納律師事務所 33314
• 代理人: 李贊堅

1.一種基于視覺顯著性和通道注意力機制的色彩傳遞方法，其特征在于包括以下步驟：

S10：分別讀取原始圖像和若干未著色圖像，并將所述原始圖像作為色彩傳遞模型的參考圖像；其中，所述未著色圖像的圖像類型包括灰度圖像和線稿圖像；

S20：對參考圖像進行視覺顯著性檢測，根據(jù)其頻率先驗、位置先驗、顏色先驗三種先驗知識分別計算頻率顯著性、位置顯著性和顏色顯著性，再通過頻率顯著性、位置顯著性和顏色顯著性計算得到所述參考圖像的顯著性特征圖；

S30：將參考圖像的顏色三通道劃分呈N個顏色區(qū)間，記為，并取每個區(qū)間的顏色中心值作為代表顏色，再對每個顏色區(qū)間查找參考圖像中屬于該顏色區(qū)間的像素點的位置分布并記錄，記為，其中，；

S40：將步驟S30中得到的位置合集與步驟S20中得到的視覺顯著性檢測結果結合，查找每個像素點在顯著性特征圖中的權值；

S50：對每個顏色區(qū)間，將它所包含像素的顯著性權值逐個相加，作為其整體的顯著性顏色統(tǒng)計值，再根據(jù)值的大小對所有的從高至低排序，取前N個顏色區(qū)間的代表顏色作為參考圖像的顏色直方圖特征；

S60：以對抗函數(shù)包括對抗損失和色度損失的生成對抗網(wǎng)絡為基礎建立色彩傳遞模型，所述生成對抗網(wǎng)絡包括生成器和判別器，其中，對抗損失用于計算參考圖像的數(shù)據(jù)分布和生成的著色圖像的數(shù)據(jù)分布之間的距離，所述色度損失用于衡量參考圖像和生成的著色圖像在顏色和結構上的差異，所述對抗損失和色度損失滿足如公式（1）中所示的計算公式：

（1）

其中，代表權重超參數(shù)，用于設定色度的權值；

所述對抗損失記為，其包含了生成器損失和判別器損失，可由公式（2）-（4）計算得到：

（2）

（3）

（4）

其中，為輸入灰度圖像，為參考圖像，為顏色直方圖特征，為分布函數(shù)的期望值，為生成數(shù)據(jù)的分布，為真實數(shù)據(jù)的分布，為生成器的輸出，為判別器的輸出；

色度損失的公式如（5）中所示：

（5）

其中，為L1范數(shù)；

所述色彩傳遞模型的建立步驟包括：

S61：將步驟S10中獲取的未著色圖像和步驟S50中得到的顏色直方圖特征分別作為訓練數(shù)據(jù)集和條件特征輸入生成器中，所述生成器進行特征提取和著色圖像的生成；其中，所述的生成器采用包括上采樣路徑和下采樣路徑的U-Net結構，所述生成器包括瓶頸層、上采樣路徑和下采樣路徑，所述瓶頸層包括若干個殘差模塊，所述下采樣路徑包括一個下采樣卷積模塊和X組交替的下采樣模塊和全局上下文模塊，所述上采樣路徑包括X組上采樣模塊和一個上采樣卷積模塊，所述上采樣模塊包括一個卷積層、一個殘差模塊和一個PixelShuffle層，所述上采樣卷積模塊包括Tanh激活函數(shù)、卷積層和Leaky ReLU激活函數(shù)；

S62：將步驟S10中獲取的參考圖像和步驟S61中生成器生成的著色圖像輸入鑒別器中，進行真假鑒別，以完成對生成對抗網(wǎng)絡的訓練；

S63：將訓練結束后的生成器作為色彩傳遞模型；

S70：使用若干灰度圖像或線稿圖像作為測試圖像測試步驟S60中得到的色彩傳遞模型的著色效果，測試通過后輸出所述色彩傳遞模型，將待著色圖像與所述顏色直方圖一同輸入所述色彩傳遞模型，得到著色后的彩色圖像。