[發明專利]一種基于改進的卷積神經網絡實現圖像編輯傳播的方法

有效

• 申請號: 201711428612.0
• 申請日: 2017-12-26
• 公開（公告）號: CN108171776B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 劉震;陳麗娟;汪家悅
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T11/80
• 分類號: G06T11/80;G06T11/40;G06N3/08;G06N3/04
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;黃美娟

一種基于改進的卷積神經網絡實現圖像編輯傳播的方法，首先引入組合卷積來代替傳統的卷積，通過這個結構可以提取更加合理的圖像特征，并且減少模型的參數量和卷積的操作數。同時引入對錯分的背景類進行加權的有偏損失函數，以防止背景類被誤著色而造成顏色溢出。該方法包括以下步驟：通過交互的方式對一幅待處理的圖像加以筆觸；根據筆觸從圖像中提取訓練集和測試集；利用改進的卷積神經網絡進行模型訓練；利用訓練得到的模型進行測試，最終實現圖像上色。

技術領域

本發明涉及一種圖像編輯傳播的方法，特別是一種基于改進的卷積神經網絡實現圖像編輯傳播的方法。

背景技術

隨著數字多媒體硬件的發展和軟件技術的興起，圖像色彩處理的需求不斷增長，在顯示設備上進行快速高效的圖像顏色處理變得尤其重要。編輯傳播是指通過用戶交互的方式，用戶對圖像中不同的物體給予不同的顏色筆觸，進行特征提取和識別，實現圖像編輯處理的過程。

目前，基于單幅圖像的編輯傳播算法有很多，主要分為兩大類。第一類方法可以通過一些約束，將編輯傳播問題轉換為一個優化問題，通過解該優化問題實現編輯傳播。比如在保持流行結構的約束條件下，通過保持這種流行結構來實現編輯傳播。但是在處理片段的圖像區域時，需要更多的筆觸才能達到滿意的效果，并且該類方法往往比消耗計算機的內存以及處理時間。

另一類方法是將該問題轉換為一個分類問題，可以使用一些分類模型實現編輯傳播。使用卷積神經網絡等分類模型對筆觸覆蓋的像素點提取特征，根據提取到的特征將不同的像素點染為不同的顏色，從而將該問題轉換為一個分類問題。然而當我們使用卷積提取特征時，也意味著我們假定了模型的幾何變換是固定的。這樣先驗知識不利于模型的泛化，尤其是對訓練集較小的數據集。

發明內容

本發明要克服圖像編輯傳播中對筆觸要求較高、模型泛化能力不好導致圖像上色不好的問題，提出一種基于改進的卷積神經網絡實現圖像編輯傳播的方法，該方法能提取更加合理的圖像特征，同時能夠改善編輯傳播過程中顏色溢出的問題。

本發明使用組合卷積來提取筆觸覆蓋的像素點的特征，并結合有偏的損失函數可以實現基于較少筆觸的實現編輯傳播。同時，由于本發明使用了組合卷積，使得模型的接受視野更加合理，利用該結構可以一定程度上改善編輯傳播過程中顏色溢出的情況，取得較好的視覺效果。本發明使用組合卷積構建了一個雙分支的卷積神經網絡模型，通過該模型可以實現圖像的有效上色。

本發明的一種基于改進的卷積神經網絡實現單幅圖像編輯傳播的方法，具體步驟如下：

1)、通過交互的方式對一幅待處理的圖像加以筆觸；

2)、根據筆觸從圖像中提取訓練集和測試集；

3)、利用改進的卷積神經網絡進行模型訓練；

4)、利用訓練得到的模型進行測試，實現圖像編輯傳播；

進一步，所述的步驟1)中的給待處理的圖像加以筆觸主要包括以下步驟：

(11)對于一幅待處理的圖像，通過photoshop等圖像處理軟件，可以對該圖像加以任意顏色的筆觸，效果如圖1中的顏色筆觸.

進一步，所述的步驟2)中數據集的提取主要包括以下步驟：

(21)訓練集的提取：在筆觸覆蓋的所有像素點中，隨機選取10％的像素點，并且以圖像左上角作為坐標原點，得到這些像素點的相對坐標；然后分別以這些坐標為中心，選取9*9的鄰域，得到大小為9*9的圖像小片，并記錄這些中心坐標的坐標值；這里在提取9*9鄰域的時候，可能會發生鄰域的選取超出邊界的情況，處理的辦法是分別對圖像的四條邊進行四個像素點的擴充，擴充的像素點的值用零填充；最后將這些像素點所覆蓋的筆觸顏色作為該圖像小片的標簽；