[發明專利]一種光場相機的合成孔徑去遮擋方法

有效

• 申請號: 201710653078.7
• 申請日: 2017-08-02
• 公開（公告）號: CN107403423B
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 金欣;張恒;戴瓊海
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00
• 代理公司: 44223 深圳新創友知識產權代理有限公司
• 代理人: 方艷平<國際申請>=<國際公布>=<進入

本發明公開了一種光場相機的合成孔徑去遮擋方法，包括：根據輸入的光場信息，得到所有子孔徑圖像；檢測所有子孔徑圖像的特征點；在中心視角圖像上選擇一塊區域，保留所選區域內的特征點，舍棄所選區域外的特征點，其中所選區域內包含有遮擋物和被遮擋的目標平面上的物體；對前一步驟得到的特征點和其余視角圖像的特征點進行匹配，篩選得到特征點對；通過篩選出的特征點對來計算中心視角圖像和其余視角圖像的單映性變換矩陣；通過單映性變換矩陣對其余視角圖像進行映射；對所有映射后的子孔徑圖像取平均，得到最終的子孔徑合成圖像。本發明能夠去除鏡頭前小尺寸遮擋物，從而獲得遮擋物后方的信息。

技術領域

本發明涉及計算機視覺與數字圖像處理領域，尤其涉及一種光場相機的合成孔徑去遮擋方法。

背景技術

1936年Gershun提出光場的概念，用于描述光線輻射亮度的傳輸特性。1996年斯坦福大學的Marc Levoy等人提出光場技術，用于采集光場信息。采集光場信息的手段主要有兩種：一種是通過微透鏡陣列，一種是相機陣列技術。斯坦福大學的Vaibhav Vaish等人提出的基于相機陣列的合成口徑成像技術，對于光場信息的采集非常有效，能夠觀察到被遮擋的物體的表面信息，在監控、軍事等方面展現出了巨大的潛力。

采集光場信息的另外一個途徑是通過微透鏡陣列來記錄光場的方向信息。斯坦福的RenNG等人做出了商業化的手持式光場相機Lytro和Illum；它們利用相機中的微透鏡陣列來記錄入射光線的方向，利用感光元件來記錄光線的強度，由此記錄光場的信息。但是，目前缺少研究光場相機的子孔徑合成問題的理論。

以上背景技術內容的公開僅用于輔助理解本發明的構思及技術方案，其并不必然屬于本專利申請的現有技術，在沒有明確的證據表明上述內容在本專利申請的申請日已經公開的情況下，上述背景技術不應當用于評價本申請的新穎性和創造性。

發明內容

本發明的主要目的在于提供一種光場相機的合成孔徑去遮擋方法，能夠去除鏡頭前小尺寸遮擋物，從而獲得遮擋物后方的信息。

為了達到上述目的，本發明采用以下技術方案：

本發明公開了一種光場相機的合成孔徑去遮擋方法，包括以下步驟：

A1：根據輸入的光場信息，得到所有子孔徑圖像，所有子孔徑圖像包括中心視角圖像和其余視角圖像；

A2：檢測所有子孔徑圖像的特征點；

A3：在所述中心視角圖像上選擇一塊區域，保留所選區域內的特征點，舍棄所選區域外的特征點，其中所選區域內包含有遮擋物和被遮擋的目標平面上的物體；

A5：對前一步驟得到的特征點和其余視角圖像的特征點進行匹配，篩選得到特征點對；

A6：通過篩選出的特征點對來計算中心視角圖像和其余視角圖像的單映性變換矩陣；

A7：通過單映性變換矩陣對其余視角圖像進行映射；

A8：對所有映射后的子孔徑圖像取平均，得到最終的子孔徑合成圖像。

優選地，步驟A3中所選區域內的在目標平面上的特征點的數量大于在遮擋物上的特征點的數量。

優選地，步驟A1還包括：計算所述中心視角圖像的深度信息；

在步驟A3和步驟A5之間還包括步驟A4：結合所述中心視角圖像的深度信息，根據預設條件對于步驟A3中所選區域內的特征點進行篩選。

優選地，步驟A4中具體包括：

A42：計算步驟A3中得到的所有特征點的平均深度：