[發明專利]基于多尺度不變特征的實時運動估計方法

無效

• 申請號: 200910081056.3
• 申請日: 2009-04-01
• 公開（公告）號: CN101521740A
• 公開（公告）日: 2009-09-02
• 發明（設計）人: 趙丹培;馮昊;姜志國;安萌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N5/14
• 分類號: H04N5/14;G06T7/20
• 代理公司: 北京慧泉知識產權代理有限公司
• 代理人: 王順榮;唐愛華

1.一種基于多尺度不變特征的實時運動估計方法，其特征在于：其實現步驟如下：

步驟1：構造高斯尺度空間，提取特征點

(1)構造高斯金字塔

設原始幀圖像為I(x，y)，則圖像的高斯金字塔可定義為：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中*是卷積操作，G(x,y,σ)=12πσ2e-x2+y22σ2]]>是高斯核函數，通過選用不同σ來構造圖像的高斯金字塔；

(2)構造高斯差分尺度空間即DoG

高斯差分尺度空間即DoG通過金字塔中相鄰尺度的圖像相減得到：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)

(3)提取局部極值點作為特征點

在DoG空間中將局部極值點作為候選特征點，記錄其坐和標(x，y)尺度kσ；

步驟2：構建極性布局特征描述子

(1)梯度和梯度方向的計算

在高斯尺度空間，像素的梯度和梯度方向通過下式計算：

m(x,y)=(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2]]>

θ(x,y)=tan-1(L(x,y+1)-L(x,y-1)L(x+1,y)-L(x-1,y)]]>

其中m(x，y)是梯度幅值，θ(x，y)是梯度方向，L(x，y)表示高斯尺度空間中某一層在(x，y)處的像素值；

(2)梯度方向直方圖的積分圖像計算

梯度方向直方圖是一種圖像區域的梯度統計特征；梯度方向直方圖以梯度方向為橫坐標，縱坐標則表示相應梯度方向上幅值的累加；積分圖像是一種快速計算矩形區域數據之和的方法，用下式定義：

II(m,n)=Σy=0mΣx=0nI(x,y)]]>

由直方圖的計算方法可知，一個區域的直方圖是對該區域內每個像素直方圖的累加；因此，矩形區域的梯度方向直方圖可以通過積分圖快速計算；對于n柱梯度方向直方圖，每個柱都獨立生成一幅積分圖；

圖像的梯度方向直方圖第i柱積分圖由下式計算：

hi(m,n)=Σy=0mΣx=0nhi(x,y)]]>

(3)選擇局部窗口大小

局部窗口大小由特征點所在尺度決定，公式如下：

W=m×102σ,]]>?其中m是放大倍數；

(4)計算局部窗口主方向

為了使描述子具有旋轉不變性，選擇一種具有方向性的特征，該特征最顯著的方向定義為該描述子的主方向，按照主方向實現對描述子方向上的歸一化；在計算上，可按照主方向旋轉局部區域的像素或者旋轉描述子空間布局；

每個特征點都有獨立的主方向，主方向通過特征點鄰域梯度方向直方圖確定；定義特征點的主方向是梯度方向直方圖幅值最大的柱所在的方向，通過旋轉描述子空間布局和改變梯度方向直方圖的排列順序，得到旋轉角度上的歸一化；

(5)選擇描述子空間布局形態及描述子計算

將特征點的鄰域劃分為9個正方形區域，每個區域為大小的正方形，其中W是(3)中定義的窗口大小，這9個子區域的布局方式如下：

①中心子區域矩形中心與特征點重合，該區域具有標號9；

②其它8個子區域平均分布于中心子區域周圍，子區域矩形中心位置與特征點位置的距離為W，這些子區域按照順時針標號為1到8，并定義區域1為0度主方向；

③確定局部窗口主方向，將各個矩形子區域以特征點所在位置旋轉相應角度，直到標號1子區域的角度與主方向相同；

每一個矩形子區域D的梯度方向直方圖的第i柱可通過公式計算：

Histogram_D(i)＝d_i(x₄，y₄)+d_i(x₁，y₁)-d_i(x₂，y₂)-d_i(x₃，y₃)

其中(x₁，y₁)是小區域左上角坐標，(x₂，y₂)是小區域右上角坐標，(x₃，y₃)是小區域左下角坐標，(x₁，y₁)是小區域右下角坐標；

對梯度方向直方圖進行順序移位，直到第一個柱梯度幅值最大，將每個子區域的梯度方向直方圖按照編號順序組合構成該特征點的描述子；

步驟3：特征點匹配和幀間運動模型計算

(1)按照距離準則計算兩幀匹配點對

設d_m(i)和d_n(i)分別是兩幅圖像中的兩個特征點描述子，則滿足：

Σi=071|dm(i)-dn(i)|<Threshold]]>

時，認為兩個特征點是相匹配的，其中Threshold是事先給定的閾值；

(2)將匹配點對代入仿射變換模型，計算幀間運動模型

相鄰幀圖像像素的位置關系近似通過仿射變換來描述，兩幅圖像之間的關系用下式表示：

I(p)～I′(Tp′)

其中T是3×3仿射變換矩陣，p和p′是相鄰幀的齊次坐標：p＝[x，y，1]，p′＝[x′，y′，1]；獲得了兩幀中匹配的點對后，使用最小二乘法求解出方程中的變換矩陣T；

步驟4：當前幀輸出位置相對于窗口中心點偏移量的計算

輸出窗口與輸出圖像位置的距離代表了當前幀輸出位置相對于窗口中心點的偏移程度；為保證圖像參數運動曲線平滑，所有幀都執行偏差糾正，將departure(n)定義為輸出視頻與輸出窗口偏差的絕對值飽含垂直偏差、水平偏差和角度偏差，偏差糾正的權重由參數γ決定：

γ=1threshold-abs(departure)]]>????????0≤γ≤1

式中threshold定義了邊界閾值，即偏離限制在threshold范圍內，且threshold>abs(departure)×2；threshold的取值與圖像的大小有關；

每一幀圖像輸出的位置由下式給出：

x_n＝x_n-1+err(n)

其中x_n是當前幀相對于輸出窗口的絕對位置參數；x_n-1是上一幀相當于輸出窗口的絕對運動參數；err(n)是兩幀圖像之間的運動補償函數，當前幀圖像輸出的位置就是運動參數x_n的輸出值；

其中err(n)定義為：

err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)

上式是運動軌跡的平滑公式，wrap(n)是系統抖動參數，motion(n)是攝像機理想運動參數，departure(n)是輸出窗口偏離參數，補償函數每一項都通過系數α，β，γ控制，從而正確找到視頻中每一幀的穩定輸出位置。