[發明專利]一種消除底部圖像遮擋的720°全景相機

有效

• 申請號: 202011591551.1
• 申請日: 2020-12-29
• 公開（公告）號: CN112788252B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 李大禹;王少鑫;徐一帆;張廣;王玉坤;穆全全;魯興海;宣麗;彭增輝;劉永剛;楊程亮;王啟東;張杏云;刁志輝
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: H04N5/247
• 分類號: H04N5/247;G06T3/40
• 代理公司: 長春眾邦菁華知識產權代理有限公司 22214
• 代理人: 張偉

1.一種消除底部圖像遮擋的720°全景相機，其特征在于，包括側方及頂部成像裝置、底部成像裝置和數據處理裝置；

所述側方及頂部成像裝置包括多個朝向側方的側面相機(1)、一個朝向頂部的第一魚眼相機(2)和第一支架(3)，所述第一支架(3)的頂部固定有一個圓盤(4)，多個所述側面相機(1)沿所述圓盤(4)的圓周等間距安裝，所述第一魚眼相機(2)固定安裝在所述圓盤(4)的中心；

所述底部成像裝置包括一個朝向底部的第二魚眼相機(5)和第二支架(6)，所述第二魚眼相機(5)通過懸臂(7)從所述第二支架(6)的頂部中心向側方伸出；

所述數據處理裝置包括數據傳輸線、磁盤陣列和計算機，所述側面相機(1)、所述第一魚眼相機(2)和所述第二魚眼相機(5)通過所述數據傳輸線與所述計算機連接，所述磁盤陣列用于存儲圖像數據；

所述側方及頂部成像裝置和所述底部成像裝置按照以下拍攝步驟進行拍攝：

步驟一：放置所述側方及頂部成像裝置至預設位置，每個所述側面相機(1)和所述第一魚眼相機(2)進行拍攝，得到多張側面圖像和一張頂部圖像；

步驟二：撤走所述側方及頂部成像裝置，放置所述底部成像裝置至預設位置，并使所述第二魚眼相機(5)的中心位置與所述第一魚眼相機(2)的中心位置相同，所述第二魚眼相機(5)進行拍攝，得到第一底部圖像；

步驟三：保持所述第二魚眼相機(5)的位置不變，調整所述第二支架(6)的位置至相反的另一側，再進行一次拍攝，得到第二底部圖像；

所述側面相機(1)和所述第一魚眼相機(2)分別將拍攝得到的所述側面圖像和所述頂部圖像發送至所述計算機，所述第二魚眼相機(5)將拍攝得到的所述第一底部圖像和所述第二底部圖像發送至所述計算機，所述計算機按照圖像拼接方法對所述側面圖像、所述頂部圖像、所述第一底部圖像和所述第二底部圖像進行拼接，得到無遮擋的720°全景圖像，所述圖像拼接方法包括以下步驟：

步驟一：對所述側面相機(1)、所述第一魚眼相機(2)和所述第二魚眼相機(5)分別進行顏色校正；

步驟二：對所述側方圖像、所述頂部圖像和所述底部圖像進行圖像預處理；

步驟三：對預處理后相鄰的側方圖像進行圖像匹配；

步驟四：利用光流法插值虛擬視角，生成側面全景圖像；

步驟五：對預處理后的底部圖像進行均色處理；

步驟六：利用均色處理后的兩張底部圖像消除遮擋，生成沒有遮擋的底部圖像；

步驟七：展開沒有遮擋的底部圖像和預處理后的頂部圖像，并將展開后的圖像與所述側面全景圖像進行拼接，生成無遮擋的720°全景圖像。

2.根據權利要求1所述的一種消除底部圖像遮擋的720°全景相機，其特征在于，

利用基于映射的顏色校正方法對所述側面相機(1)、所述第一魚眼相機(2)和所述第二魚眼相機(5)分別進行顏色校正。

3.根據權利要求1或2所述的一種消除底部圖像遮擋的720°全景相機，其特征在于，

所述圖像預處理包括圖像平滑處理和圖像銳化處理。

4.根據權利要求1或2所述的一種消除底部圖像遮擋的720°全景相機，其特征在于，所述對預處理后相鄰的側方圖像進行圖像匹配的步驟包括以下步驟：

步驟三一：提取預處理后相鄰的側方圖像的BRISK特征點；

步驟三二：用KNN算法匹配特征點對；

步驟三三：用隨機樣本一致算法剔除誤匹配點并得到變形矩陣。

5.根據權利要求1或2所述的一種消除底部圖像遮擋的720°全景相機，其特征在于，所述利用光流法插值虛擬視角，生成側面全景圖像的步驟包括以下步驟：

步驟四一：選取區塊匹配函數；

步驟四二：利用選取的區塊匹配函數匹配相似區塊，由此估計光流場；

步驟四三：利用步驟四二得到的光流場插值虛擬視角，生成側面全景圖像。

6.根據權利要求1或2所述的一種消除底部圖像遮擋的720°全景相機，其特征在于，

利用Wallis勻色算法對預處理后的底部圖像進行均色處理。