[發明專利]陰影檢測方法和裝置

有效

• 申請號: 201310178434.6
• 申請日: 2013-05-15
• 公開（公告）號: CN104156937B
• 公開（公告）日: 2017-08-11
• 發明（設計）人: 范圣印;王鑫;王千;喬剛
• 申請（專利權）人: 株式會社理光
• 主分類號: G06T7/194
• 分類號: G06T7/194
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 黃劍飛

技術領域

本發明涉及一種陰影檢測方法與裝置，更具體地涉及使用雙目相機或者立體相機的彩色圖/灰度圖和深度圖/視差圖來檢測和去除陰影的方法和裝置。

背景技術

陰影是一種常見的自然現象，在普通相機拍攝到的彩色和灰度圖像中非常常見，圖1A和1B示意性地給出的由雙目相機得到的灰度圖像和深度圖像中存在陰影的情形。陰影的存在給計算機圖像處理帶來了很多的困難和約束，尤其是在進行圖像中的對象檢測處理中，給對象檢測的精度造成負面影響。例如，分割算法就易受陰影的影響而導致分割錯誤。此外對象的檢測算法，對象的跟蹤算法均會因為陰影的影響而導致誤檢和誤跟蹤。為此，視頻和單幀圖像中的陰影檢測去除技術得到廣泛關注。

最常見的陰影去除方法是基于彩色或者灰度圖像進行的，諸如智能邊界匹配，基于紋理的方法，基于顏色和紋理的方法等，這些方法受環境的背景復雜度影響很大，同時易受光照變化的干擾。

美國專利申請US2010830525提出了一種車載相機上的陰影去除方法。該方法辨識輸入圖像中的邊緣，同時在一個光照不變的圖像中辨識邊緣，通過判定邊緣是否在兩個圖像中的存在狀況來判斷是否有陰影的存在。該專利申請提出的方法主要是基于邊緣檢測技術，同時使用輸入圖像和光照不變的圖像，通過檢測到的邊緣的差異情況，判定陰影的有無。該專利申請必須得到一個光照不變的圖像，陰影的去除受制于該光照不變圖像的獲取和該光照不變圖像的質量。

美國專利US7133083B2提出了一種動態的陰影去除方法，其使用多個攝像機和投影儀，計算相機、投影儀和屏幕的關系，然后計算投影圖像和攝像機捕獲到圖像的差異情況來判斷是否有陰影。該專利提出的方法，要使用多個攝像機和投影儀，還需要建立攝像機、投影儀及屏幕的空間對應關系。其核心是通過投影的內容來建立一個預測圖像，然道比較預測圖像和真實捕獲的圖像的差異，根據差異再判定是否有陰影。該專利必須事先知道顯示的內容，同時其應用場景非常有限，僅適合投影展示系統中的陰影的檢測。

Brown大學的Yong Zhao的博士論文“基于立體視覺的人的檢測、跟蹤和識別”中提出了一種基于深度圖像的背景建模的方法來去除陰影的方法。該方法使用了兩個背景建模，一個是基于深度圖像的深度背景模型，另一個是基于RGB/灰度圖像的表觀背景模型。首先，其根據表觀背景模型來檢測出表觀前景，該表觀前景中可能會包含陰影。其次，判定表觀前景是否同深度背景模型有重合，有的話，則說明該重合部分是陰影。其基本思想是陰影不會改變背景的深度。該方法太過依賴于兩個背景模型的質量，通常的雙目相機很難保證得到稠密的深度背景模型，為此，該方法將失效。

發明內容

通常情況下，在真實的3維坐標系中，物體是一個3維物體(例如，人、車、動物等)，而陰影其多為物體的投影，例如投影到地面、墻面、桌面等。為此，多數的陰影在3維空間中是符合面特性的。為此，本發明提出了一種基于陰影在3維空間中的面特性來檢測陰影的方法。

根據本發明的一個方面，提出了一種陰影檢測的方法，包括：從雙目或者立體相機中獲取深度/視差圖像和彩色/灰度圖像；檢測并分割出前景點；將所分割出的前景點投影到三維坐標系；在三維坐標系中，通過對前景點進行聚類而將前景點分割成不同的點云；通過主成分分析法來計算每個點云的密度分布狀況，從而獲得主成分分量值；以及基于所述主成分分量值，判斷點云是否為陰影。

根據本發明的陰影檢測的方法，所述基于所述主成分分量值判斷點云是否為陰影步驟包括：如果對于一個點云，其存在一個主成分分量值接近零，則該點云為陰影。

根據本發明的陰影檢測的方法，其中所述檢測并分割出前景點包括：通過彩色/灰度圖像或者是深度/視差圖像進行背景建模；根據背景模型，提取出前景點。

根據本發明的陰影檢測的方法，所述將所分割出的前景點投影到三維坐標系的步驟包括根據雙目/立體相機的圖像坐標系和攝像機坐標系的關系，將提取出的前景點映射到攝像機坐標系中。

根據本發明的陰影檢測的方法，其中所述通過對前景點進行聚類而將前景點分割成不同的點云是通過KNN聚類法或K均值法對前景點的三維坐標信息進行聚類實現的。