[發(fā)明專利]基于感興趣區(qū)域分層的無人機圖像運動目標檢測方法

有效

• 申請?zhí)枺?/td>: 201711035599.2
• 申請日: 2017-10-30
• 公開（公告）號: CN107911697B
• 公開（公告）日: 2020-02-07
• 發(fā)明（設(shè)計）人: 李紅光;丁文銳;王玉峰
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/139;H04N19/30;H04N19/527;H04N19/53
• 代理公司: 11121 北京永創(chuàng)新實專利事務(wù)所
• 代理人: 姜榮麗

1.基于感興趣區(qū)域分層的無人機圖像運動目標檢測方法，其特征在于：運動目標所在的感興趣區(qū)域分為三層，包括：圖像背景層、圖像過渡層和圖像目標層；圖像目標層是指包含目標的圖像子塊及其相鄰圖像子塊組成的目標區(qū)域；圖像過渡層是指由圖像目標層向外擴散一定范圍而得到的不包含圖像目標層的圖像子塊集合，是目標之前所在的區(qū)域和之后可能到達的區(qū)域；圖像背景層是指在圖像中遠離目標層的所有圖像子塊的集合；在此基礎(chǔ)上，所述的目標檢測方法分為以下步驟：

第一步：在圖像背景層，基于遙測參數(shù)進行全局運動估計；

首先，利用機載傳感器參數(shù)對原始偵察圖像進行全局運動估計；然后，利用圖像子塊間的相關(guān)理論對全局運動進行修正；

(1)利用機載傳感器參數(shù)對原始偵察圖像進行全局運動估計，包括：

從空速表、高度表、陀螺儀、攝像頭云臺控制系統(tǒng)上提取飛行參數(shù)和云臺運動參數(shù)，組成多元集P：

其中V_uav,H_uav分別為飛機的飛行速度與高度；α_uav,β_uav分別為飛機的方位角與俯仰角；V_cam為云臺相對于飛機運動的速度；γ_cam,λ_cam分別為攝像機的轉(zhuǎn)動角與俯仰角；為攝像頭視場角；I(w,h)為所獲視頻流的每幀圖像，寬w，高h，以像素為單位；fr為視頻流的幀率；

根據(jù)所述的多元集P計算：

偵察區(qū)域S_c:

兩連續(xù)圖像幀間背景位移l為:l＝V_uav/fr (2)

背景位移l沿地面參照物水平分量為:l_h＝l×cosα_uav (3)

背景位移l沿地面參照物垂直分量為:l_v＝l×sinα_uav (4)

所獲全局運動為:

水平方向分量:i₀＝l_h/S_c×w (5)

豎直方向分量:j₀＝l_v/S_c×w (6)

故全局運動矢量:

其中，w表示圖像寬，h為圖像高；i₀,j₀為全局運動矢量在水平和豎直方向的分量；

(2)利用圖像子塊間的相關(guān)理論對上面的全局運動矢量進行修正，包括：

利用分塊相位相關(guān)進行二次補償?shù)姆椒?，將第t幀圖像的某一個大小為N×N的圖像子塊的時域表達f_t(x,y)轉(zhuǎn)化為二維離散傅立葉變換F_t(u,v)：

其中x＝0,1,2...N-1；y＝0,1,2...N-1，F(xiàn)_t(u,v)表示離散傅立葉變換；在圖像子塊的相同位置，下一幀相對于當(dāng)前幀有平移運動，位移大小為(x₀,y₀)；即下一幀的時域表達為：

f_t+1(x,y)＝f_t(x-x₀,y-y₀) (9)

根據(jù)傅立葉變換的平移性，得：

右式中u＝0,1,2...N-1；v＝0,1,2...N-1；根據(jù)相位相關(guān)思想，兩個大小為N×N圖像子塊的互功率譜為：

由二維離散傅立葉變換對知：其中，x＝0,1,2...N-1，y＝0,1,2...N-1，δ(x-x₀,y-y₀)表示在x＝x₀,y＝y(tǒng)₀處互功率譜最大，即兩個圖像子塊的相關(guān)性最強；F_t(u,v)，F(xiàn)_t+1(u,v)分別表示第t幀圖像子塊和第t+1幀對應(yīng)的圖像子塊的傅立葉變換，F(xiàn)_t^*(u,v)表示F_t(u,v)的共軛矩陣；

第二步：在圖像過渡層，基于圖像壓縮矢量進行局部運動估計；

首先，是圖像局部運動估計；然后，確定圖像目標過渡區(qū)域；所述的第二步具體實現(xiàn)如下：

基于運動估計原理，通過分析H.264標準中的運動矢量信息，建立H.264標準的編碼流中運動矢量與場景中物體運動狀態(tài)的對應(yīng)關(guān)系，實現(xiàn)運動目標與背景的分離，確定圖像過渡層；

(1)首先是圖像局部運動估計；

對應(yīng)像素區(qū)域運動狀態(tài)的二階方程建模如公式(12)所示:

v_x，v_y為水平和豎直方向的像素區(qū)域運動矢量，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈為所述二階方程參數(shù)；

H.264標準中采用了7種分塊模式，將圖像分割為最小至4×4的像素塊；考慮到硬件實現(xiàn)，H.264標準中使用絕對值差匹配準則，如公式(13)所示:

其中，f_t(m,n)和f_t-1(m+i,n+j)分別為t時刻和t-1時刻圖像幀內(nèi)(m，n)位置像素點的亮度值；(i，j)為偏移量；M和N為像素塊的水平和垂直像素數(shù)；μ為殘差塊的絕對值；當(dāng)式(13)中左邊最小平均絕對值誤差MAD(i,j)取值最小時，表示兩個像素塊匹配，此時的偏移量(i，j)被認為是該像素塊的位移值也即運動矢量；

公式(14)引入運動矢量統(tǒng)計信息，實現(xiàn)了運動目標像素塊與背景像素塊的分離，第n個像素塊的相對運動矢量M(n)為:

M(n)＝d(n)-dm (14)

其中，n為第n個像素塊；d(n)為該第n個像素塊運動矢量；dm為像素幀內(nèi)所有像素塊運動矢量平均值；所有像素塊經(jīng)過上述運算得到的相對運動矢量按閾值分割，最終得到的不為0的連續(xù)小區(qū)域即為存在局部運動的圖像區(qū)域；

(2)接下來確定圖像過渡層；

假設(shè)dm為該幀所有像素塊運動矢量平均值，目前的運動目標運動矢量為d(n)，攝像頭幀率為F_r，θ為攝像頭寬度方向的可視角，H為攝像頭與目標的距離，W為實際背景寬度，S_w為攝像頭當(dāng)前圖像格式下的水平分辨率，S(n)為當(dāng)前目標估算位移，V(n)為當(dāng)前目標估計速度，則由公式(14)得到M(n)，有下面等式：

得到目標估計速度V(n)后，計算出一段時間內(nèi)目標的潛在區(qū)域，得到圖像目標過渡層；

第三步：在圖像目標層，基于仿射不變特征進行運動目標檢測；

首先，由二階和三階中心距構(gòu)成的仿射矩不變量建立目標特征描述向量；在相鄰圖像幀間，以圖像過渡層為作用區(qū)域，計算目標特征描述向量；然后定義向量匹配函數(shù)，在相鄰圖像幀間對目標進行檢測；所述的第三步具體實現(xiàn)如下：利用由二階和三階中心距構(gòu)成的仿射矩不變量建立目標特征描述向量F：

其中，

I¹＝(μ₂₀μ₀₂-μ₁₁²)/μ₀₀⁴，

I²＝(μ₃₀²μ₀₃²-6μ₃₀μ₂₁μ₁₂μ₀₃+4μ₃₀μ₁₂³+4μ₂₁³μ₀₃-3μ₂₁²μ₁₂²)/μ₀₀¹⁰，

I³＝(μ₂₀(μ₂₁μ₀₃-μ₁₂²)-μ₁₁(μ₃₀μ₀₃-μ₂₁μ₁₂)+μ₀₂(μ₃₀μ₁₂-μ₂₁²))/μ₀₀⁷；

其中，f(x,y)為圖像，R為圖像范圍，μ_pq＝∫∫_R(x-x_c)^p(y-y_c)^qf(x,y)dxdy，m_pq＝∫∫_Rx^py^qf(x,y)dxdy，x_c＝m_1,0/m_0,0，y_c＝m_0,1/m_0,0為圖像重心；p＝0,1,2,3；q＝0,1,2,3；

由于目標特征描述向量F是由仿射不變矩I¹、I²、I³構(gòu)成的，因此在偵察圖像的幀間變換中，目標特征描述向量F能夠始終代表目標的特征；在相鄰幀間，以圖像過渡層為作用區(qū)域，計算目標的特征描述向量；然后進行匹配運算對目標進行檢測；

為了加速目標定位的過程，將相鄰圖像幀間的特征匹配運算，定義公式(18)作為特征向量匹配的函數(shù)：

其中D(t-1,t)代表圖像過渡層內(nèi)某位置上t-1時刻與t時刻目標特征向量的距離，α，β，γ為滿足α+β+γ＝1的任意數(shù)，表示t時刻目標的2階矩；

基于目標特征描述向量F和特征向量匹配的函數(shù)D進行目標檢測。