[發(fā)明專利]基于CNN-LSTM組合模型的黑白圖片的著色方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910914057.5
• 申請日: 2019-09-25
• 公開（公告）號: CN110717953A
• 公開（公告）日: 2020-01-21
• 發(fā)明（設(shè)計）人: 宋旭博
• 申請（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08
• 代理公司: 11694 北京萬思博知識產(chǎn)權(quán)代理有限公司
• 代理人: 高鎮(zhèn)

本發(fā)明公開了一種基于CNN?LSTM組合模型的黑白圖片的著色方法和系統(tǒng)，該方法包括：采集多張彩色初始圖像，將多張彩色初始圖像轉(zhuǎn)換為多張黑白圖像，基于多張彩色圖像和多張黑白圖像分別形成訓(xùn)練集和測試集；將訓(xùn)練集中的多張黑白圖像和多張彩色圖像輸入CNN?LSTM卷積神經(jīng)網(wǎng)絡(luò)模型中，分別生成黑白和彩色特征圖譜，將黑白特征圖譜和生成彩色特征圖譜進行色彩匹配測試以最終獲得著色網(wǎng)絡(luò)模型；利用著色網(wǎng)絡(luò)模型對待著色的黑白圖像進行著色。本發(fā)明可以使最終得到的著色網(wǎng)絡(luò)模型的著色準確度得到提升，自動化地對黑白圖像進行著色，消除了各逐幀圖片的顏色不一致性，從而可以產(chǎn)生更平滑的色彩圖像，并獲得整體美觀的觀看體驗。

技術(shù)領(lǐng)域

本申請涉及圖像識別技術(shù)領(lǐng)域，特別是涉及基于CNN-LSTM組合模型的黑白圖片的著色方法和系統(tǒng)。

背景技術(shù)

圖像著色是一種圖像增強的基本手段，是一種為圖像或視頻添加顏色的計算機輔助處理技術(shù)，通過對黑白圖片補色可以得到更好的視覺效果，在娛樂、教育和科研方面以及醫(yī)療等方面都有非常廣泛的應(yīng)用。

現(xiàn)有技術(shù)中的圖像著色方法主要包括以下兩種，一種是基于用戶提示的著色方法，另一種是不需任何著色提示即可對黑白圖片進行著色。第一種著色方法需要人工干預(yù)，增加了人力成本和時間成本；第二種著色方法通過采用深度學(xué)習(xí)方法，該方法使用低級視覺片和空間像素坐標作為深度神經(jīng)網(wǎng)絡(luò)的輸入，從單個圖像自動提取適合用戶指定筆畫的特征。使用深度神經(jīng)網(wǎng)絡(luò)作為分類器，根據(jù)整個圖像上的提取特征來估計用戶筆畫概率，這些概率表示每個像素屬于每個筆畫的可能性；盡管這種著色方法實現(xiàn)了自動化。但是該方法的著色效果不佳，著色單一和準確率也相對較低。

發(fā)明內(nèi)容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據(jù)本申請的一個方面，提供了一種基于CNN-LSTM組合模型的黑白圖片的著色方法，該方法包括以下步驟：

采集多張彩色初始圖像，將每張彩色初始圖像轉(zhuǎn)換為相對應(yīng)的黑白圖像以獲得多張黑白圖像，基于所述多張彩色圖像和所述多張黑白圖像分別形成訓(xùn)練集和測試集；

將訓(xùn)練集中的多張黑白圖像輸入CNN-LSTM卷積神經(jīng)網(wǎng)絡(luò)模型中，提取該多張黑白圖像的特征生成黑白特征圖譜；將訓(xùn)練集中的多張彩色圖像輸入CNN-LSTM卷積神經(jīng)網(wǎng)絡(luò)模型中，提取該多張彩色圖像的特征生成彩色特征圖譜，基于所述黑白特征圖譜和所述生成彩色特征圖譜進行色彩匹配測試以獲得著色訓(xùn)練模型；

將所述測試集中的測試樣本輸入所述著色訓(xùn)練模型中，并將所述測試樣本中的黑白圖像和彩色圖像進行色彩匹配測試，以生成色彩匹配測試結(jié)果；根據(jù)所述色彩匹配測試結(jié)果迭代更新所述著色訓(xùn)練模型，以生成著色網(wǎng)絡(luò)模型；

利用所述著色網(wǎng)絡(luò)模型對待著色的黑白圖像進行著色。

可選地，所述多張彩色初始圖像是從原始視頻中提取的幀圖片。

可選地，所述多張彩色初始圖像來源于ImageNet數(shù)據(jù)集。

可選地，所述CNN-LSTM卷積神經(jīng)網(wǎng)絡(luò)模型中的CNN結(jié)構(gòu)包括多組轉(zhuǎn)換層和全連接層，每組轉(zhuǎn)換層包括卷積層和池化層，所述全連接層連接于池化層后。

可選地，所述生成所述黑白特征圖譜包括以下子步驟：

將多張黑白圖像輸入到卷積層獲得第一特征圖譜；

將所述第一特征圖譜輸入到池化層并利用反向傳播方法獲得第二特征圖譜；

利用全連接層將所述第二特征圖譜中的特征和第一特征圖譜中的特征進行聯(lián)合形成聯(lián)合特征；

將所述聯(lián)合特征輸入Softmax層以對黑白圖像中的對象進行分類并生成CIE Lab顏色空間數(shù)據(jù)；