[發明專利]一種基于極面圖像顏色差異的光場相機深度估測系統及方法

有效

• 申請號: 202010630031.0
• 申請日: 2020-07-03
• 公開（公告）號: CN111862184B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 盛浩;崔正龍;楊達;王思哲;周建偉
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/557
• 分類號: G06T7/557;G06T7/90
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;顧煒

本發明涉及一種基于極面圖像顏色差異的光場相機深度估測系統及方法，本發明所述系統包括以下4大模塊：極面圖像提取模塊、顏色差異計算模塊、顏色差異整體性優化模塊、深度估測可視化輸出模塊。本發明主要完成光場相機的極面圖像生成、深度信息估測、三維場景深度圖融合輸出等功能。系統可根據光場相機深度粒度參數和輸出格式要求，對深度估測結果圖進行優化，自動輸出符合需求的拍攝場景深度估測結果圖像。

技術領域

本發明涉及一種基于極面圖像顏色差異的光場相機深度估測系統及方法，具體說是一種針對光場相機的基于極面圖像上特有的線性結構的自動深度估測并可視化輸出深度分布圖的深度估測系統及方法，屬于相機成像和場景結構重建領域。

背景技術

目前光場相機由于其特殊的鏡頭陣列結構，使得對于目標場景的連續多角度觀測更加便利，光場相機因此被應用于場景結構的三維重建等工作中，然而利用光場圖像進行三維場景重建首先需要對場景的深度進行估測，對不同景深的物體進行區別和分割，因此深度估測的準確性成為了影響光場應用的重要前置工作。

對于光場圖像的深度估測，主要可以劃分為兩大方法，其一是基于立體匹配的深度估測算法[1，2]，其二是基于極面圖像的深度估測算法[3，4]。Chen[1]和Yu[2]提出基于立體匹配的深度估測算法，其主要思路是提取同一場景點在多個鏡頭中的成像，選取最小匹配代價對應的深度作為深度估測結果，其優點在于能夠有效利用多個鏡頭內成像圖像，充分利用了光場相機多鏡頭的特點，對比多個角度成像差異，從而匹配得到匹配代價最小的深度作為深度估測結果，但是其劣勢也十分明顯，當對若紋理區域和遮擋區域進行估測時，立體匹配將會出現極大的誤差，其原因在于，對于若紋理區域，大面積的圖像顯示出單一色彩，對于立體匹配算法來說，大面積的相似顏色之間的匹配結果顯示出極小的差異，從而也很難比較出匹配代價最小的深度標簽，從而極大地影響深度估測結果，而對于遮擋區域，其在正確深度下的角采樣圖像為顏色不相同的一組像素點，因此在基于立體匹配的深度估測算法中，對于遮擋區域的深度估測時，其在正確深度下的匹配代價將會增大，在錯誤深度下得到一個匹配代價的最小值，從而導致深度估測的結果出現嚴重的誤差；Wanner[3，4]提出了針對極面圖像的深度估測方法，改技術能夠比較好的避免類似的問題，基于極面圖像的深度估測算法其主要思想是匹配得到極面圖像上的線性結構從而實現深度估測的目的，由于光場相機連續角度觀測場景的特點，使得被觀測像素點在極面圖像上由于深度不同形成了斜率不同的直線結構，依據極面圖像上的線性結構特點，可以通過識別匹配線性結構從而達到估測場景深度的目的，相比于基于立體匹配的深度估測算法，基于極面圖像的深度估測使用了更少角度的圖像但是具有更強的抗干擾性，尤其是對于遮擋區域有著更好的深度估測效果，但是由于使用的圖像信息不充分，其準確度依舊有待提高。

目前光場圖像的深度估測與場景重建已經取得了相關研究成果，但是對于應用于實際光場相機還存在一些技術難點，其中不僅需要深度估測算法的運算效率高，能夠較快的依據使用者拍攝圖像做出反應并估測，還需要應對大部分存在不確定噪聲的現實復雜場景，具有較高的魯棒性。如何將快速準確的深度估測算法應用于光場相機是目前的首要問題。當光場相機在非常規結構化的環境下工作，拍攝場景中常出現難以預測的噪聲，因此挑選深度估測算法時，不僅需要考慮到算法的計算速度問題，還需要尋求一種對于遮擋噪聲魯棒的深度估測方法。

【1】Chen C，Lin H，Yu Z，et al.Light field stereo matching usingbilateral statistics of surface cameras[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2014：1518-1525.