[發明專利]利用單攝像機實時生成半球全景視頻圖像的方法及系統

有效

• 申請號: 201210430511.8
• 申請日: 2012-11-01
• 公開（公告）號: CN102984453A
• 公開（公告）日: 2013-03-20
• 發明（設計）人: 裴繼紅;謝維信;楊烜;楊焰
• 申請（專利權）人: 深圳大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T5/50;G03B37/00
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 陳健

1.一種利用單攝像機實時生成半球全景視頻圖像的方法，其特征在于，包括下述步驟：

步驟A，在半球面上選定一條經線作為0°經線，沿0°經線方向在俯仰90度的范圍內設置若干個預置點，相鄰預置點之間緯度差基本一致；

步驟B，在各個預置點處，將攝像機光軸的俯仰角方向調整為預置點所在的緯線的緯度方向，從預置點開始繞垂直軸在水平360度的范圍內旋轉攝像機，并在旋轉過程中每隔一定時間間隔采集圖像，將即時采集的每幀視頻圖像預處理；

步驟C，將預處理后的與同一個預置點緯度相同的視頻圖像拼接為一沿水平方向設置的條帶全景；各個預置點的條帶全景沿豎直方向排列；

步驟D，對各條帶全景中嵌入的每幀視頻圖像，對其與左、右幀視頻圖像的重疊區域進行光線一致性調整；

步驟E，將各條帶全景進行0°經度對齊后拼接為一半球展開圖像；

步驟F，將所述半球展開圖像正投影成圓盤顯示；

步驟G，將所述半球展開圖像正側投影成半球顯示。

2.如權利要求1所述的方法，其特征在于，所述步驟C具體包括下述步驟：

攝像機在當前繞垂直軸旋轉的水平方向上等時間間隔采集N幅圖像，根據當前條帶全景的幀間相關距離d，計算出每幀視頻圖像中變形較小的中間垂直條帶，以及該中間垂直條帶在當前條帶全景中的位置，將其嵌入計算出的位置；

其中，N是一個大于N₀的常數，N₀是條帶全景一個周期中所包含的視頻圖像幀數，N₀可通過如下公式得到：

N0=D0d0]]>

其中，D₀為中心處于0°緯度的條帶全景的圓周周長，d₀為中心處于0°緯度的條帶全景的幀間相關距離。

3.如權利要求2所述的方法，其特征在于，所述當前條帶全景的幀間相關距離d的計算通過下述步驟得到：

步驟C11，獲取當前視頻圖像幀，計算沿攝像機旋轉運動方向的該幀圖像梯度，得到平行梯度圖；

步驟C12，設W為圖像寬度，H為圖像高，中心處于0°緯度的條帶全景的幀間相關距離為d₀，當前條帶幀間相關距離為d，球體半徑為R，圖像最底行像素點所在緯度圓的緯度為所在緯度圓的半徑為r_b，通過如下公式計算當前幀圖像最底行視場角大小θ_b：

R=D02π]]>

θb=2arctan(W2rb);]]>

θ_b是與2π/N₀一個數量級的小數，用θ_b與1000相乘取整后記作W_I，把W_I作為梯度圖球面變換后的寬；

步驟C13，根據所述圖像最底行的視角大小將步驟C11梯度圖做球面變換，使具有相同垂直視角的像素點排列在一垂直列上;梯度圖G_y(h,y)進行球面變換后得到變換后的梯度圖g_y(h,θ)，球面變換關系式：

θ=θb2+arctan(y-W/2r),]]>y=1,…,W

y=W2+r·tan(θ-θb2),]]>θ=0,…,θ_b

其中，

r=Rsin(Rsin(d/d0)+hR)]]>

y為梯度圖最底行從左到右的像素點的位置；y對應的視角度數為θ，h為梯度圖中像素點與梯度圖中心像素點的垂直距離，h大小從-H/2到H/2，W為梯度圖寬度，H為梯度圖高；θ_b為圖像最底行視場角大小；r為梯度圖中與梯度圖中心像素點垂直距離為h的行所在的緯度圓的半徑；R為球體半徑，d₀為中心處于0°緯度的條帶全景的幀間相關距離，d為當前條帶幀間相關距離；

步驟C14，對步驟C13球面變換后的梯度圖，進行垂直方向的梯度投影，即將梯度圖中像素點的值沿列方向累加起來，形成一個沿行方向的一維信號序列；

步驟C15，根據下述公式計算步驟C13球面變換后梯度圖的像素位移S_θ：

Sθ=Φ0θbWI=2πWIN0θb]]>

其中，Φ₀為中心處于0°緯度的條帶全景的相鄰幀圖像視場角位移；

步驟C16，根據步驟C15得到的球面變換后梯度圖的像素位移S_θ，在相鄰兩幀梯度圖的一維信號序列中各取一段，計算這兩段的相關系數ρ；

步驟C17，將當前條帶全景的幀間相關距離d從1依次增大到d₀，針對每一個d，執行步驟C12到步驟C16，計算出一系列的相關系數ρ(d)，相關系數ρ(d)的最大值對應的d作為當前條帶全景的幀間相關距離；

步驟C18，獲得步驟C17中d依次從1增大到d₀的相關系數序列ρ(d)，使用窗函數對相關系數序列ρ(d)進行擬合，得到擬合后的相關函數ρ₀(t)：

ρ0(t)=Σd=1d0ρ(d)e(t-d)22hf2]]>

其中，t是相關函數ρ₀(t)的連續取值的自變量，h_f是擬合函數的窗口寬度，一般可取hf=2；進一步計算出如下的相關函數插值序列；

ρ1[i]=ρ0(t=i10),]]>i＝1,2,…,10d₀

對序列ρ₁[i]進行數字低通濾波：

ρ2[i]=12m+1Σj=-mmρ1[i+j],]]>i＝1,2,…,10d₀

在數字低通濾波的計算中，在i+j<1,或i+j>10d₀時,令ρ₁[i+j]＝0，m是濾波常數，m=4；

上述ρ₂[i]是一個精確到一位小數的幀間相關函數序列，其最大值ρ₂[m]對應的d=m/10即為亞像素精度的幀間相關距離。