[發明專利]可變視角及分辨率的雙目視覺系統目標圖像穩定化方法

有效

• 申請號: 200910088991.2
• 申請日: 2009-07-17
• 公開（公告）號: CN101616310A
• 公開（公告）日: 2009-12-30
• 發明（設計）人: 周杰;萬定銳;胡瀚
• 申請（專利權）人: 清華大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06T7/20
• 代理公司: 北京眾合誠成知識產權代理有限公司
• 代理人: 朱 琨

1.可變視角及分辨率的雙目視覺系統目標圖像穩定化方法，其特征在于，所述方法在PC機中依次按以下步驟實現：

步驟(1)，使第一個可變視角，或分辨率的PTZ攝像機作為靜止攝像機，用于監控全景，再使第二個可變視角，或分辨率的PTZ攝像機抓拍感興趣的運動目標；

步驟(2)，所述PC機從第一個PTZ攝像機中輸入記錄全景的圖像，稱為低分辨率圖像?并把每幀圖像轉換為灰度圖像；所述PC機從第二個PTZ攝像機中輸入記錄運動目標的圖像，稱為高分辨率圖像?把每幀圖像轉換為灰度圖像，并用兩個灰度圖分別代替所述的?和?步驟(3)，不同分辨率視頻圖像之間的配準：選擇第t幀低分辨率圖像?中所述運動目標所在的矩形區域?所對應的高分辨率圖像作為系統的輸出圖像?然后計算所述高分辨率圖像?和所述低分辨率圖像?之間的映射模型?具體如下：

步驟(3.1)，所述矩形區域?的選定，

步驟(3.1.1)，對所述低分辨率圖像?求取低分辨率背景模型?像素(x，y)處的更新公式為：

其中更新系數α＝0.05，初始低分辨率背景模型?如果?T_LB＝20，則?在(x，y)屬于前景區域，否則，該像素屬于背景區域，

步驟(3.1.2)，利用Opencv提供的Mean-shift跟蹤算法，通過給定原始灰度圖像?以及步驟(3.1.1)得到的前景區域，即可求得感興趣目標在?圖像中的位置，并在設定幀數的幀鄰域內對所跟蹤的目標中心進行均值平滑，平滑后的中心即為所述目標的中心，也是所述矩形區域的中心，該矩形區域的長寬設為64×48像素，最終得到的高分辨率輸出圖像?的尺寸為所述矩形區域的?的k_o倍，k_o＝5，

步驟(3.2)，用基于特征點的配準方法求取所述低分辨率圖像?和高分辨率圖像?之間的初步映射模型?

步驟(3.2.1)，計算所述第t幀高分辨圖像?和低分辨率圖像?中目標區域?的SIFT特征點，

步驟(3.2.2)，對?中的每個特征點，分別計算它和所述低分辨率圖像目標區域?中的每個特征點之間的距離，即s₁₂＝‖v₁-v₂‖，其中v₁和v₂分別表示兩個特征點對應的SIFT特征向量，然后考慮距離最小的兩組結果?和?如果?T_s＝0.7，則?對應的特征點為匹配點，否則認為該點沒有匹配特征點，如果兩圖之間的總匹配特征點對的個數少于10，則認為所述映射模型?無效，轉到步驟(4)，否則轉到步驟(3.3)，

步驟(3.2.3)，對所述的高分辨率圖像?與所述低分辨率圖像目標區域?的SIFT匹配特征點對?i＝1，2，...，n，求取仿射變換矩陣?其中參數通過下式求取：

[m₁，m₂，m₃，m₄，m₅，m₆]^T＝(A^TA)^-1AX，

其中，

步驟(3.3)，調整所述低分辨率圖像?的灰度值，得到校正圖像?

步驟(3.3.1)，選定計算灰度映射的區域：對步驟(3.2)中兩幅圖像?和?中匹配上的特征點集分別用一個凸多邊形表示，該凸多邊形以特征點為頂點，所有特征點都在多邊形內部或頂點處，該凸多邊形內部即為灰度映射區域，

步驟(3.3.2)，統計上述凸多邊形內的灰度直方圖hist(k)，k＝0，1，…，255，按下式得到累計直方圖：?

K＝0，1，…，255

步驟(3.3.3)，用Accu¹和Accu²分別表示?和?的累積分布直方圖，按下述方法劃分三個灰度集合G₁，G₂，G₃：

G₁＝{K：0≤Accu¹(K)＜0.05}

G₂＝{K：0.05≤Accu¹(K)＜0.95}

G₃＝{K：0.95≤Accu¹(K)≤1}

選取映射模型為三段分片線性模型?其中K¹和K²分別表示?和?的灰度值，利用下面的目標函數線性擬合K∈G₂時所述圖像?和?之間的灰度值映射函數K²＝MI(K¹)＝a₂K¹+b₂，K¹∈G₂：

用灰度集合G₁、G₃分別擬合模型K²＝MI(K¹)＝a₁K¹+b₁，K¹∈G₁和K²＝MI(K¹)＝a₃K¹+b₃，K¹∈G₃，使得MI(0)＝0，MI(255)＝255，

步驟(3.3.4)，根據?和?之間的灰度值映射模型MI(k)調整?的灰度值，得到?步驟(3.4)基于像素的直接配準方法估計?和?之間更精確的仿射模型?

步驟(3.4.1)，用步驟(3.2)中所述的?對所述的高分辨率圖像?進行變換，得到圖像?變換方法是：

所述圖像?在坐標點(x_i，y_i)的值?其中f是同構坐標變換函數，計算方法是：

f(x，y，M)＝(x′，y′)，其中x′和y′由[x′，y′，1]^T＝M[x，y，1]^T得到，

步驟(3.4.2)，用迭代的梯度下降的方法求解下面的優化問題，得到模型?

其中(x_i，y_i)是所述圖像?的第i個像素點坐標，f見步驟(3.4.1)，迭代初始值M₀設為3×3的單位矩陣，

步驟(3.4.3)，如果步驟(3.4.2)中所求得的?滿足下面兩個條件中的任何一個，則認為?和?無效，不再對其進行計算，轉到步驟(4)，

a)

b)

其中，?是?的前兩行，

步驟(3.4.4)，計算更精確的仿射模型

步驟(3.5)根據鄰域2N+1幀圖像對所述輸出圖像?進行平滑處理，取N＝5，

步驟(3.5.1)，求取第j幀高分辨率圖像到第i幀高分辨率圖像的變換模型?

由步驟(3.1.1)中所求得的?中的前景區域通過步驟(3.4.1)中的變換方法由所述的更精確的仿射模型?得到對應的?中的前景目標，進而得到?的背景區域，用步驟(3.2)中的方法，求取所述第j幀高分辨圖像?和第i幀高分辨率圖像?之間的變換模型?

步驟(3.5.2)求取平滑模型?

其中，ω_i是高斯權重系數，N＝5，?σ＝1.5，δ_i取值為：

步驟(3.5.3)計算當前幀的相對模糊度b_i

其中，p_t為所述第t幀高分辨率圖像?中的像素點，dx(·)和dy(·)分別是圖像沿著x和y方向上的梯度，

如果b_t＞1.3min{b_t-1，b_t+1}，則認為當前幀為模糊圖像，并設定?無效；

步驟(4)圖像補全：對所述輸出圖像中未被高分辨率圖像完全覆蓋的部分進行圖像補全，具體步驟如下：

步驟(4.1)估計高分辨率背景圖像?

步驟(4.1.1)如果步驟(3)中所述的?有效，通過步驟(3.4.1)中所述的變換方法由所述的變換模型?變換得到與步驟(3.1.1)所述低分辨率圖像?中的背景區域?對應的?中的背景區域，

步驟(4.1.2)對第t幀，用第1，2，…，t+50幀中的高分辨率背景區域來更新當前高分辨率背景模型?對于下一幀的背景模型?如果?有效，則將?的背景區域映射到?上，然后對于重疊區域用0.5的衰減因子進行更新，即對背景區域的像素灰度值進行如下處理：?否則，?

步驟(4.2)對?進行填充：

步驟(4.2.1)利用所述的高分辨率圖像?和變換模型?填充圖像，如果?有效，則用步驟(3.4.1)中所述的變換方法由所述的變換模型?將所述高分辨率圖像?變換到所述輸出圖像?上，所述輸出圖像?中重疊的區域即可用?的灰度值進行填充，

步驟(4.2.2)對背景部分，如果所述輸出圖像?的未填充部分包含背景像素，則直接利用?中對應的有效像素進行填充，

步驟(4.2.3)對前景部分，如果第t幀滿足下面三個條件之一時，轉到步驟(4.2.3.1)，否則轉到到步驟(4.2.4)

a)所述的變換模型?無效

b)所述的高分辨率圖像?不包含完整的感興趣目標?

c)步驟(3.5.3)中判斷所述的高分辨率圖像?是模糊的圖像

步驟(4.2.3.1)建立和更新參考樣本隊列

參考樣本隊列最大長度取為60，如果第t幀同時滿足下面三個條件之一，則該幀將產生一個參考樣本：

a)所述的變換模型?有效；

b)所述的高分辨率圖像?包含完整的感興趣目標；

c)所述的高分辨率圖像?不是模糊的圖像；

參考樣本由兩個包含前景區域的圖像塊構成，分別由只保留前景區域的?和?用?表示，其中?表示第i幀只包含前景目標的低分辨率圖像固定大小參考幀，大小為40×40，?表示第i幀只包含前景目標的與?相對應的高分辨率圖像的參考幀，大小為200×200，采用先入先出的策略更新參考幀隊列，

步驟(4.2.3.2)在所述參考幀隊列中查找與當前幀最匹配的參考幀?

對于第t幀，我們只考慮?中完全包含目標的矩形圖像區域?用下面的步驟計算參考幀隊列中所有的?i＝1，2，...，60與?的相似度：

步驟(4.2.3.2.1)計算?到?的平移變換模型(dx，dy)^T

選取初始值為?中前景目標中心點坐標與?中前景目標中心點的差，用基于迭代的梯度下降優化算法求得平移變換模型(dx，dy)^T，

步驟(4.2.3.2.2)用下面的公式計算相似度：

其中，?是?的前景目標的像素集合，?是?前景目標的像素集合，p是?經過平移變換后其前景目標像素集合與?的交集中的一個像素，Num(p)是交集中像素的個數，如果交集的像素個數小于?像素個數的60％，或者小于?像素個數的60％，則令相似度為0，

如果當前幀t有效，則取本幀為相關參考幀，定義為?即ref_t＝t；否則，?則取隊列中與?相似度最大的參考幀為相關參考幀，若最大相似度小于Th_MAD＝exp(-20)，則認為?沒有相關參考幀，即?無效，轉到步驟

(4.2.3.2.3)；否則?有效，

步驟(4.2.3.2.3)估計當前幀與其參考幀之間的高分辨率圖像光流場V^H，由鄰近共三幀及其對應的參考幀?i＝t-1，t，t+1進行估計：

步驟(4.2.3.2.3.1)采用基于迭代的梯度下降優化算法求得從?到?的平移變換模型，然后用此模型將?變換到?從而去除了兩者之間的整體運動；同理，對?進行同樣操作，得到去除整體運動的?對當前幀，即第t幀，令?

步驟(4.2.3.2.3.2)利用調整后的?來估計高分辨率的光流場V^H

用Opencv提供的Lucas-Kanade光流算法分別估計從?到?和?之間的光流場?和?則

步驟(4.2.3.2.4)估計幀內低分辨率圖像光流場V^L，同樣采用Opencv提供的Lucas-Kanade光流算法估計?與?之間的光流場?將其放大5倍即可得到V^L，

步驟(4.2.3.2.5)如果?有效，估計?與?之間的最終光流場?由下面的優化問題解得：

其中V是圖像有效區域，(x，y)是V中的一個像素，u和v分別是u(x，y)和v(x，y)的簡寫，分別代表?在(x，y)點沿x方向和y方向的分量，(u_H，v_H)代表V^H?在(x，y)處的取值，ω₁(x，y)是權重系數，取為ω₁(x，y)＝exp(-‖[u_H，v_H]‖/10)，(u_L，v_L)代表V^L在(x，y)處的取值，ω₂(x，y)是權重系數，取為ω₂(x，y)＝1，如果V^H有效，則取β＝2，γ＝1，否則，取β＝0，γ＝1，

步驟(4.2.3.2.6)填充輸出圖像，

用?經過光流場?的變換后采用雙線性插值填充輸出圖像的前景部分，步驟(4.2.4)對還未填充的區域，用低分辨率的圖像?放大并用雙線性插值得到，步驟(4.3)灰度值調整

用步驟(3.3)中所述的方法調整輸出圖像中區域R₁和R₄，與R₂灰度值保持一致，其中R₁是所述輸出圖像?中用步驟(4.2.1)填充的圖像區域，R₂是所述輸出圖像?中用步驟(4.2.2)填充的圖像區域，R₃是所述輸出圖像?中用步驟(4.2.3)填充的圖像區域，R₄是所述輸出圖像?中用步驟(4.2.4)填充的圖像區域，

調整R₁，只用R₁與所述高分辨率背景模型?重疊部分的像素計算灰度值映射模型，并只調整這些重疊部分的像素，調整R₄時，亦只用R₄與所述高分辨率背景模型?重疊部分的像素計算灰度值映射模型，但對所有的像素值均進行調整，

步驟(4.4)輸出圖像空間連續性調整

對于步驟(4.3)中所述的輸出圖像區域R₁，R₂和R₄作如下處理：先對邊界部分用5×5的結構單元進行形態學膨脹，再對膨脹后的邊界部分用3×3的均值濾波器進行平滑，步驟(4.3)中所述的輸出圖像區域R₃部分保持不變。?