[發明專利]一種全景相機及其圖像生成方法、系統、設備、存儲介質

在審

• 申請號: 201711237215.5
• 申請日: 2017-11-30
• 公開（公告）號: CN107995421A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 陳燁
• 申請（專利權）人: 濰坊歌爾電子有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/265;H04N5/21;G06T3/40;G06T5/50
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 王學強

1.一種VR全景圖像生成方法，其特征在于，應用于包括N個魚眼鏡頭的全景相機，N為不小于2的整數；其中，所述方法包括：

采集當前外界環境的實時光照強度；

判斷實時光照強度是否小于預設光照強度閾值，如果是，則分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像；其中，每組原始魚眼圖像中均包括多幀原始魚眼圖像；

分別對每組原始魚眼圖像進行融合處理，相應地得到N張融合圖像；

對所述N張融合圖像進行拼接處理，得到拼接后的全景圖像。

2.根據權利要求1所述的VR全景圖像生成方法，其特征在于，所述分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像的步驟，包括：

確定實時光照強度的強度等級，得到目標強度等級；

利用預設的強度等級與每組原始魚眼圖像的采集數量之間的映射關系，確定出與所述目標強度等級對應的采集數量，得到目標采集數量；

根據所述目標采集數量，分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像；其中，每組原始魚眼圖像的圖像幀數與所述目標采集數量相等。

3.根據權利要求1所述的VR全景圖像生成方法，其特征在于，對每組原始魚眼圖像進行融合處理的過程，包括：

從該組原始魚眼圖像篩選出一幀原始魚眼圖像作為參考幀圖像；

將該組原始魚眼圖像中的其他原始魚眼圖像均與所述參考幀圖像進行坐標對齊，得到相應的對齊后圖像序列；

對所述對齊后圖像序列中的所有圖像進行加權融合，得到相應的一張融合圖像。

4.根據權利要求3所述的VR全景圖像生成方法，其特征在于，所述從該組原始魚眼圖像篩選出一幀原始魚眼圖像作為參考幀圖像的步驟，包括：

分別計算該組原始魚眼圖像中每幀原始魚眼圖像的平均梯度，然后將平均梯度最大的一幀原始魚眼圖像作為參考幀圖像。

5.根據權利要求3所述的VR全景圖像生成方法，其特征在于，所述對所述對齊后圖像序列中的所有圖像進行加權融合，得到相應的一張融合圖像的步驟，包括：

分別根據所述對齊后圖像序列中每一幀圖像與所述參考幀圖像所對應的圖像坐標之間的像素灰度差值的絕對值，確定所述對齊后圖像序列中每一幀圖像的加權系數；

根據所述對齊后圖像序列中每一幀圖像的加權系數，對所述對齊后圖像序列中的所有圖像進行加權融合，得到相應的一張融合圖像。

6.根據權利要求1至5任一項所述的VR全景圖像生成方法，其特征在于，所述對所述N張融合圖像進行拼接處理，得到拼接后的全景圖像的步驟，包括：

分別對每張融合圖像進行平面展開，得到N張展開后圖像；

對所述N張展開后圖像進行重合區域的配準處理，得到相應的配準結果；

根據所述配準結果，對所述N張展開后圖像的重合區域進行融合處理，得到所述全景圖像。

7.一種VR全景圖像生成系統，其特征在于，應用于包括N個魚眼鏡頭的全景相機，N為不小于2的整數；其中，所述系統包括：

光照強度采集模塊，用于采集當前外界環境的實時光照強度；

光照強度判斷模塊，用于判斷實時光照強度是否小于預設光照強度閾值；

魚眼圖像采集模塊，用于如果是，則分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像；其中，每組原始魚眼圖像中均包括多幀原始魚眼圖像；

魚眼圖像融合模塊，用于分別對每組原始魚眼圖像進行融合處理，相應地得到N張融合圖像；

圖像拼接模塊，用于對所述N張融合圖像進行拼接處理，得到拼接后的全景圖像。

8.一種VR全景圖像生成設備，其特征在于，應用于包括N個魚眼鏡頭的全景相機，N為不小于2的整數；其中，所述設備包括光照傳感器、處理器和存儲器；其中，所述處理器通過執行所述存儲器中保存的VR全景圖像生成程序實現如權利要求1至6任一項所述的VR全景圖像生成方法。

9.一種全景相機，其特征在于，包括N個魚眼鏡頭，其中，N為不小于2的整數，還包括如權利要求8所述的VR全景圖像生成設備。

10.一種計算機可讀存儲介質，其特征在于，用于存儲VR全景圖像生成程序，其中，所述VR全景圖像生成程序被處理器執行時實現如權利要求1至6任一項所述的VR全景圖像生成方法。