[發明專利]一種基于相機陣列選擇性光場重聚焦的顯著性檢測方法

有效

• 申請號: 202010787230.2
• 申請日: 2020-08-07
• 公開（公告）號: CN111881925B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王世剛;馮潔;韋健;趙巖
• 申請（專利權）人: 吉林大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/56
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 邵銘康;朱世林

一種基于相機陣列選擇性光場重聚焦的顯著性檢測方法屬圖像處理和計算機視覺技術領域，本發明利用同一場景的多幅視點圖像，對中心視點圖像進行可選擇深度層的重聚焦，使其它深度層受到不同程度的模糊，然后利用重聚焦的結果，實現考慮場景的深度和聚焦信息的顯著性檢測；對于某些目標區域顏色和背景顏色相近或背景復雜以及場景包含多個顯著性目標的情況，檢測效果能得到有效改善；另外通過指定聚焦深度層，使場景中某些顯著性區域以外值得關注的區域被檢測出，包含多個顯著性目標的場景中位于指定深度層的目標被更精細地被檢測出，能實現可選擇的顯著性檢測。

技術領域

本發明涉及圖像處理和光場成像領域，具體涉及一種基于相機陣列選擇性光場重聚焦的顯著性檢測方法。

背景技術

隨著信息時代的高速發展，信息數據爆炸式增長，人們每天接觸來自互聯網的海量信息數據，然而這些海量數據中真正重要、有用的只是其中很小一部分。人們希望盡快在有限時間內有效地接收、處理和分析這些數據，從而獲得真正感興趣的內容。因此，信息提取、數據挖掘得到了廣泛的關注，其中視覺顯著性檢測和提取就是主要的技術手段，通過計算機模擬靈長目動物的視覺選擇注意機制來選擇重要信息，即模擬視覺選擇注意機制，使觀察者迅速識別出圖像中包含重要視覺信息的顯著性區域。

目前，國內外學者提出的顯著性檢測模型，多數都是基于普通相機獲取的2D圖像，只采用了圖像的亮度、顏色及紋理等信息檢測顯著目標，并以這些二維信息存在明顯差異為假設前提進行顯著性檢測模型建模。當顯著目標的某些區域顏色和背景顏色相近或背景復雜，以及場景中包含多個顯著目標時，這些基于2D圖像的模型得到的顯著圖效果并不理想，檢測出的目標不完整或者顯著圖的背景會被亮化，甚至會丟失某些顯著性區域，難以得到完整目標和干凈背景顯著圖。

發明內容

本發明的目的在于提供一種基于相機陣列選擇性光場重聚焦的顯著性檢測方法，利用同一場景的多幅視點圖像對中心視點圖像進行可選擇深度層的重聚焦，使其它深度層的物體受到不同程度的模糊，然后利用重聚焦的結果實現考慮場景的深度、聚焦等信息的可選擇的顯著性檢測。

本發明的基于相機陣列選擇性光場重聚焦的顯著性檢測方法，包括下列步驟：

1.1獲取視點圖像數據集，選擇Stanford光場數據集，其中每個場景提供289(17×17)個視點圖像，圖像分辨率為1400×800；和4D光場數據集，其中每個場景提供81(9×9)個視點圖像，圖像分辨率為512×512；

1.2視差估計，采用RGDP(Reliability?Guided?Disparity?Propagation)算法對相機陣列進行視差估計，得到視差圖，用于后續bokeh渲染；

1.3超分辨率重建，由于攝像機陣列捕獲的子圖像會受到由視差引起的剪切位移，由光學畸變引起的模糊和由低分辨率圖像傳感器引起的下采樣的影響，考慮到這些因素，建立攝像機陣列的退化模型：

y_k＝DHF_i,kx+n_k?(1)

其中：y_k表示第k個相機捕獲的子圖像；x表示高分辨率圖像；n_k表示間域附加噪聲；D、H和F_i,k分別表示下采樣、光學模糊和位移(取決于深度i和視點k)；超分辨率重建主要是估計x以適應退化模型，即最小化下列方程：

其中：第一項表示觀測值與理想高分辨率圖像間的距；w_b是基于深度和空間變化的權重向量；⊙表示數量積運算符；J_b(x)為bokeh正則化項；J_BTV(x)為雙邊總變異BTV正則化項；λ_b和λ_BTV為正則化系數；J_b(x)可表示為：