[發明專利]一種全景相機及其圖像生成方法、系統、設備、存儲介質

在審

• 申請號: 201711237215.5
• 申請日: 2017-11-30
• 公開（公告）號: CN107995421A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 陳燁
• 申請（專利權）人: 濰坊歌爾電子有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/265;H04N5/21;G06T3/40;G06T5/50
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 王學強

技術領域

本發明涉及全景相機技術領域，特別涉及一種全景相機及其圖像生成方法、系統、設備、存儲介質。

背景技術

VR(即Virtual Reality)技術能夠讓使用者進入一個三維空間的沉浸虛擬世界，如同身歷其境一般。隨著技術的進步，三維立體全景影像技術的應用范圍越來越廣。全景拍攝技術指的是利用科學技術、專業設備將整個真實的場景映射成全景圖像，從而將二維的平面圖模擬為三維立體空間，實現虛擬現實瀏覽。同時，瀏覽者可以在全景空間里進行切換，自由的觀看“天地萬物”。全景攝影成為新興增長領域，而全景相機是全景攝影的核心設備。

全景相機，就是能夠進行全景拍攝的攝影器材。除拍照外，還可以應用于動態影像的拍攝，也被稱為全景攝像機。由于單個相機鏡頭的視角范圍小于360°，所以全景相機至少配備兩個鏡頭。與傳統相機/智能手機的水平旋轉拍攝不同，全景相機能夠在水平和垂直方向同一時刻拍攝，再通過全景拼接軟件處理，生成360°×180°的全景畫面。

目前典型的全景相機是利用魚眼光學鏡頭來進行全景圖像拍攝的設備，一次攝取足夠大的視場角的圖像，其原理是依據仿生學(魚眼構造)，經過物理光學的球面鏡透射以及折射，一次性地對水平360度，垂直180度的信息進行成像。

然而，當前全景相機全景圖生成算法在某些情況下無法保證拍攝得到的全景圖像的質量，特別是在夜間拍攝時，很難滿足光照充足的條件，拍攝的低亮度全景圖像普遍具有很低的對比度，夾雜著大量的噪聲，人眼視覺感受較差，盡管相機傳感器硬件已經有了飛速的發展和進步，但是由于硬件尺寸以及成本的限制，目前大部分全景相機設備的夜間拍照質量依然很難滿足用戶的需求和期望。

綜上所述可以看出，如何提升夜間拍攝的全景圖像的圖像質量是目前亟待解決的問題。

發明內容

有鑒于此，本發明的目的在于提供一種全景相機及其圖像生成方法、系統、設備、存儲介質，能夠有效地提升夜間拍攝的全景圖像的圖像質量。其具體方案如下：

第一方面，本發明公開了一種VR全景圖像生成方法，應用于包括N個魚眼鏡頭的全景相機，N為不小于2的整數；其中，所述方法包括：

采集當前外界環境的實時光照強度；

判斷實時光照強度是否小于預設光照強度閾值，如果是，則分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像；其中，每組原始魚眼圖像中均包括多幀原始魚眼圖像；

分別對每組原始魚眼圖像進行融合處理，相應地得到N張融合圖像；

對所述N張融合圖像進行拼接處理，得到拼接后的全景圖像。

可選的，所述分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像的步驟，包括：

確定實時光照強度的強度等級，得到目標強度等級；

利用預設的強度等級與每組原始魚眼圖像的采集數量之間的映射關系，確定出與所述目標強度等級對應的采集數量，得到目標采集數量；

根據所述目標采集數量，分別采集與每個魚眼鏡頭對應的一組原始魚眼圖像，得到相應的N組原始魚眼圖像；其中，每組原始魚眼圖像的圖像幀數與所述目標采集數量相等。

可選的，對每組原始魚眼圖像進行融合處理的過程，包括：

從該組原始魚眼圖像篩選出一幀原始魚眼圖像作為參考幀圖像；

將該組原始魚眼圖像中的其他原始魚眼圖像均與所述參考幀圖像進行坐標對齊，得到相應的對齊后圖像序列；

對所述對齊后圖像序列中的所有圖像進行加權融合，得到相應的一張融合圖像。

可選的，所述從該組原始魚眼圖像篩選出一幀原始魚眼圖像作為參考幀圖像的步驟，包括：

分別計算該組原始魚眼圖像中每幀原始魚眼圖像的平均梯度，然后將平均梯度最大的一幀原始魚眼圖像作為參考幀圖像。

可選的，所述對所述對齊后圖像序列中的所有圖像進行加權融合，得到相應的一張融合圖像的步驟，包括：

分別根據所述對齊后圖像序列中每一幀圖像與所述參考幀圖像所對應的圖像坐標之間的像素灰度差值的絕對值，確定所述對齊后圖像序列中每一幀圖像的加權系數；

根據所述對齊后圖像序列中每一幀圖像的加權系數，對所述對齊后圖像序列中的所有圖像進行加權融合，得到相應的一張融合圖像。

可選的，所述對所述N張融合圖像進行拼接處理，得到拼接后的全景圖像的步驟，包括：

分別對每張融合圖像進行平面展開，得到N張展開后圖像；

對所述N張展開后圖像進行重合區域的配準處理，得到相應的配準結果；