[發明專利]一種基于卷積神經網絡和鄰域上下文的光源估計方法

有效

• 申請號: 201810236107.4
• 申請日: 2018-03-21
• 公開（公告）號: CN108388905B
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 張駿;鄭彤;劉亞美;王程;鄭順源;張旭東;高雋
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/04;G06T7/90
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于卷積神經網絡和鄰域上下文的光源估計方法，其步驟包括：1確定待處理的彩色圖像中的亮像素與暗像素；2從待處理的彩色圖像中提取同時包含亮像素和暗像素的圖像塊；3從待處理的彩色圖像中提取與圖像塊中心相同且范圍更大的鄰域塊，以提供給模型更多的上下文信息；4以VGG?16模型參數為基礎，搭建結合圖像塊和鄰域塊上下文的光源估計模型，并利用Gehler?Shi彩色圖像數據集訓練；5利用訓練好的光源估計模型對所述待處理彩色圖像I進行光源估計。本發明能估計彩色圖像場景中的真實光源值，從而能有效的對彩色圖像進行色彩校正，使圖像色彩恢復到標準光源下。

技術領域

本發明屬于計算機視覺中的色彩研究領域，具體地說是一種以卷積神經網絡為特征提取工具，結合鄰域上下文的光源估計方法。

背景技術

對于常規的數碼相機來說，在不同光源下獲取的同一物體的外觀會有所不同；但對于人類視覺系統來說，在場景光源變化的情況下，人類能夠不受場景光源的影響而感知到物體自身固有的顏色，人類所具有的這種能力稱為顏色恒常性。在計算機視覺領域，為精確模擬色恒常性這種人類視覺系統的能力，通常設計對圖像場景真實光源進行光源估計的算法，得到場景中光源的真實RGB值，并通過顏色校正將場景色彩校準到標準光源下，從而獲得場景在標準光源下的準確顏色表達。

在圖像與視頻處理中的許多計算機視覺問題都將顏色校正作為預處理步驟，以確保在不同的光照條件下，場景中的物體保持其固有的顏色不發生變化，如基于顏色的目標識別、跟蹤，圖像增強，圖像分割等。

目前光源估計的技術方法大致可以分為兩大類：基于統計的方法和基于學習的方法。

基于統計的方法僅在單幅圖像內容的基礎上，利用彩色圖像的統計屬性或物理屬性來估計光源。此類方法通常進行一些假設，如場景最亮區域即為光源、場景所有像素平均RGB值為光源等等，這些基于唯一確定的場景光照假設，計算都較為方便簡單。

基于學習的方法需要訓練數據，利用訓練圖像中來訓練模型，從而進行光源估計。這類方法由于其相對于基于統計的方法具有更高的準確性而較為普遍。一些傳統的機器學習方法，憑借一些手工制作的低級視覺特征(如像素和邊緣)的淺層學習模型，如色度直方圖、顏色和邊緣矩，色度的統計等特征，可以取得出色的性能。

深度學習的盛行，為基于學習方法的光源估計提供了新的思路。利用卷積神經網絡提取特征，與依賴于手動定義低級視覺特征不同，卷積神經網絡能提取像素、邊緣、多種對象部分及其組成的模型等多尺度圖像特征，從而進一步提高光源估計的精度。目前已有的卷積神經網絡方法通常對整個圖像進行特征提取，以獲得用于估計整個光源的統計量。同時也有一些基于局部圖像塊的估計方法，通過從圖像中獲得多個圖像塊，一方面增加了訓練網絡的數據量，另一方面從多個圖像塊的估計回歸到單一估計，光源估計的準確性有很大提升。

雖然在計算機視覺領域中，已經出現了一些性能出色的彩色圖像場景的光源估計方法，但這些方法依然存在著不足之處：

1、基于統計的方法通常是對場景的光照進行假設，適用范圍小且在處理場景內容復雜的圖像時誤差較大。

2、在基于學習的方法之中，早期的傳統機器學習方法，受限于基于手工制作的低級視覺特征(如像素和邊緣)的淺層學習模型，在精度上與深度學習方法已有很大差距。事實上，圖像的特征本質上是分層的，有高中低等級的特征，應自動從圖像數據中學習，以避免手工制作的特征構造出現偏差。

3、在深度學習方法中，直接對整個圖像進行特征提取的方法不能準確捕捉到整個圖像不同局部區域的光源變化，因此在多光照條件下的光源估計有著局限性。

4、在深度學習方法中，基于局部圖像塊的方法，盡管有著其優勢，但由于局部圖像塊獲取的隨機性，其內容是不確定的，通常情況下單個局部圖像塊只含有很少或沒有語義上下文信息，在局部估計中存在模糊性(即圖像塊內容單一，且很可能與來源于其他彩色圖像的圖像塊十分相似)，難以準確估計場景光源。