[發(fā)明專利]圖片中多目標區(qū)域的上色方法、裝置、設備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810717335.3
• 申請日: 2018-07-03
• 公開（公告）號: CN108921916B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設計）人: 葉武劍;陳浩文;劉怡俊;張子文;翁韶偉
• 申請（專利權）人: 廣東工業(yè)大學
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06T7/11;G06N3/04
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 羅滿

1.一種圖片中多目標區(qū)域的上色方法，其特征在于，包括：

對待上色圖片進行灰度化處理，得到灰度圖；

選取對所述待上色圖片進行不同顏色設計的多個色彩標準圖；

通過選取的多個所述色彩標準圖分別對所述灰度圖進行上色；

識別并分割出經(jīng)上色后的多個目標區(qū)域；

將分割后的多個目標區(qū)域融合到所述待上色圖片相應的位置；

所述通過選取的多個所述色彩標準圖分別對所述灰度圖進行上色，具體包括：

訓練用于上色的卷積神經(jīng)網(wǎng)絡和用于獲取色彩信息的目標網(wǎng)絡；

把所述待上色圖片和所述灰度圖輸入到所述卷積神經(jīng)網(wǎng)絡中訓練；

將選取的多個所述色彩標準圖輸入到所述目標網(wǎng)絡，獲取所述色彩標準圖的色彩信息并輸入到所述卷積神經(jīng)網(wǎng)絡中訓練；

計算損失函數(shù)，直到所述卷積神經(jīng)網(wǎng)絡輸出帶所述色彩信息的多個色彩圖。

2.根據(jù)權利要求1所述的圖片中多目標區(qū)域的上色方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡包括十個卷積層；前三個所述卷積層用于下采樣；后三個所述卷積層用于上采樣；

所述目標網(wǎng)絡包括四個卷積層；所述目標網(wǎng)絡的輸出添加至所述卷積神經(jīng)網(wǎng)絡的第四個卷積層中。

3.根據(jù)權利要求1所述的圖片中多目標區(qū)域的上色方法，其特征在于，識別并分割出經(jīng)上色后的多個目標區(qū)域，具體包括：

通過Mask R-CNN網(wǎng)絡識別和分割出經(jīng)上色后的多個目標區(qū)域。

4.根據(jù)權利要求3所述的圖片中多目標區(qū)域的上色方法，其特征在于，通過Mask R-CNN網(wǎng)絡識別和分割出經(jīng)上色后的多個目標區(qū)域，具體包括：

利用ResNet-FPN網(wǎng)絡從所述待上色圖片提取出特征圖；

利用RPN網(wǎng)絡在所述特征圖上生成候選邊框，通過所述候選邊框標出所述目標區(qū)域的具體位置；

將所述候選邊框輸入到RoIAlign提取特征，獲取與每個所述目標區(qū)域?qū)难诖a；

用softmax函數(shù)輸出概率，得到多個例子類和1個背景類；

對所述掩碼和所述候選邊框進行線性回歸；

將上色后的所述灰度圖輸入到所述Mask R-CNN網(wǎng)絡中訓練，分割出經(jīng)上色后的多個目標區(qū)域。

5.根據(jù)權利要求4所述的圖片中多目標區(qū)域的上色方法，其特征在于，利用RPN網(wǎng)絡在所述特征圖上生成候選邊框，通過所述候選邊框標出所述目標區(qū)域的具體位置，具體包括：

將核在所述特征圖上滑動；

將所述核的中心映射回所述待上色圖片中，在中心處生成多種設定尺寸的候選邊框，判斷所述候選邊框是否包括目標區(qū)域；

若是，則對所述候選邊框進行精調(diào)，以使所述候選邊框標出所述目標區(qū)域的具體位置。

6.根據(jù)權利要求1所述的圖片中多目標區(qū)域的上色方法，其特征在于，將分割后的多個目標區(qū)域融合到所述待上色圖片相應的位置，具體包括：

通過平滑濾波器將分割后的多個目標區(qū)域融合到所述待上色圖片相應的位置并使邊緣過渡平滑。

7.一種圖片中多目標區(qū)域的上色裝置，其特征在于，包括：

灰度化處理模塊，用于對待上色圖片進行灰度化處理，得到灰度圖；

標準圖選取模塊，用于選取對所述待上色圖片進行不同顏色設計的多個色彩標準圖；

灰度圖上色模塊，用于通過選取的多個所述色彩標準圖分別對所述灰度圖進行上色；

目標區(qū)域分割模塊，用于識別并分割出經(jīng)上色后的多個目標區(qū)域；

目標區(qū)域融合模塊，用于將分割后的多個目標區(qū)域融合到所述待上色圖片相應的位置；

所述灰度圖上色模塊，具體用于訓練用于上色的卷積神經(jīng)網(wǎng)絡和用于獲取色彩信息的目標網(wǎng)絡；

把所述待上色圖片和所述灰度圖輸入到所述卷積神經(jīng)網(wǎng)絡中訓練；

將選取的多個所述色彩標準圖輸入到所述目標網(wǎng)絡，獲取所述色彩標準圖的色彩信息并輸入到所述卷積神經(jīng)網(wǎng)絡中訓練；

計算損失函數(shù)，直到所述卷積神經(jīng)網(wǎng)絡輸出帶所述色彩信息的多個色彩圖。