[發明專利]一種基于目標姿態預測及多特征融合的行人目標檢測方法

有效

• 申請號: 201110374358.7
• 申請日: 2011-11-22
• 公開（公告）號: CN102509086A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 朱虹;楊艷妮;王棟;陳莉;王斌
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T7/20
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 李娜

1.一種基于目標姿態預測及多特征融合的行人目標檢測方法，其特征在于：首先，基于RGB彩色空間初步提取運動目標，抑制光照突變影響，并對檢測結果中包含的陰影進行去除；然后，對檢測結果中被判定為屬于同一目標的矩形框進行合并，最后，對矩形框內的目標區域，結合基于姿態估計所構建的步態檢測模板，修復因目標與背景相似而導致的缺損，

具體按照如下步驟實施：

步驟1、基于RGB彩色空間提取運動目標

啟動監控系統采集監控視頻幀，首先進入學習階段，根據單高斯背景建模方法獲得背景圖像[b(x，y，i)]_m×n×3，其中，b(x，y，i)為視頻幀彩色圖像i通道在坐標為(x，y)上的像素值，i＝1，2，3分別表示R、G、B三通道，m，n分別為圖像的行數與列數，即x＝1，2，...，m，y＝1，2，...，n，學習階段結束后，系統切換至監控狀態，

1.1)對于視頻監控首幀的目標檢測

設當前幀彩色圖像為[f_t(x，y，i)]_m×n×3，其中的f_t(x，y，i)為當前時刻t輸入的視頻幀彩色圖像i通道在坐標為(x，y)上的像素值；i＝1，2，3分別表示R、G、B三通道；m，n分別為圖像的行數與列數，即x＝1，2，...，m，y＝1，2，...，n，

按照公式(1)分別計算三通道的相似度特征圖像[S_t(x，y，i)]_m×n×3，

St(x,y,i)=1-|ft(x,y,i)-b(x,y,i)|255,i=1,2,3---(1)]]>

按照公式(2)對三個通道的相似度特征矩陣特征圖像進行加權處理，得到一個二維的特征圖像[C_t(x，y)]_m×n，

Ct(x,y)=Σi=13αi·St(x,y,i)---(2)]]>

其中，α_i，i＝1，2，3為三通道特征值的加權系數，取值范圍為i＝1，2，3；C_t(x，y)∈(0，1)表征當前像素點顏色與相應背景像素點顏色的接近程度，C_t(x，y)越大，表明當前點的像素越接近背景，判斷為背景像素點的可能性大，否則可能為前景像素點，

設定分割閾值，按照公式(3)進行前景/背景像素點分類，得到檢測結果[result(x，y)]_m×n，

result(x,y)=0Ct(x,y)≥Th1Ct(x,y)<Th---(3)]]>

其中，分割閾值Th∈(0，1)，

1.2)對于視頻監控后續幀的目標檢測

采用動態閾值補償的方法，來抑制光照變化的影響，設當前t時刻輸入視頻幀圖像的特征圖像為[C_t(x，y)]_m×n，t-1時刻輸入視頻幀的特征圖像為[C_t-1(x，y)]_m×n，則按照公式(4)計算閾值補償值δ：

δ=1m×n·[Σx=1mΣy=1nCt(x,y)-Σx=1mΣy=1nCt-1(x,y)]---(4)]]>

則補償后的新閾值：

Th₁＝Th+k·δ????(5)

其中，k為更新系數，取值范圍為k∈[1，4]；

則，在后續的幀中，按照新閾值進行目標檢測：

result(x,y)=0Ct(x,y)≥Th11Ct(x,y)<Th1;---(6)]]>

步驟2、去除圖像中的運動陰影

由于在RGB顏色空間無法分割運動目標與運動陰影，因此，將其轉換到HSV顏色空間進行處理，按照公式(7)進行運動陰影的去除：

其中，參數滿足τ_s∈(0，0.2)，τ_h∈[0，1]；(x，y)∈Ω，Ω為按照公式(6)判斷為目標區域的點，即Ω＝{(x，y)|result(x，y)＝1}；

步驟3、用最小外接矩形標識連通域

將步驟2所檢測出的目標區域Ω作為運動目標候選區域進行貼標簽處理，消除其中面積大于系統監控分辨率下的最大目標面積的連通域，同時消除小面積噪聲連通域之后，對剩余的連通域采用最小外接矩形進行標識；

步驟4、合并分裂的外接矩形框

假設由步驟3得到的兩個連通域的外接框為矩形框A和矩形框B，矩形框A的左上、右下兩個對角點的坐標分別為(a₁，b₁)、(c₁，d₁)，矩形框B的左上、右下兩個對角點的坐標分別為(a₂，b₂)、(c₂，d₂)，如果將該兩個矩形框合并，則合并后的矩形框的左上對角點的坐標為(a₁₂，b₁₂)，其中a₁₂＝min{a₁，a₂}，b₁₂＝min{b₁，b₂}；右下對角點的坐標為(c₁₂，d₁₂)，其中c₁₂＝max{c₁，c₂}，d₁₂＝max{d₁，d₂}，

計算合并后的矩形寬度w₁₂和高度h₁₂：

w₁₂＝d₁₂-b₁₂????(8)

h₁₂＝c₁₂-a₁₂????(9)

如果合并后的矩形寬度和高度滿足w₁₂≤Th_w，并且h₁₂≤Th_h，則判斷為該兩個連通域屬于同一個目標，進行合并，否則不合并，其中的閾值Th_w、Th_h分別為系統所使用的攝像頭分辨率下的最大可能目標的外接矩形的長、寬，根據系統設置進行預存；

步驟5、確定目標運動的方向

計算當前時刻目標外接矩形的中心點坐標位置

xct=wt/2,yct=ht/2---(10)]]>

其中，w^t是目標的外接矩形的寬度，h^t是目標的外接矩形的高度，

之后，分析若干幀內目標外接矩形的中心點坐標位置的變化規律，設觀測運動幀長度為T，T值根據目標在圖像中的大小確定，假設圖像幀的大小為m×n，目標外接矩形的寬、高為w^t，h^t，取T＝k_T·min{m/h^t，n/w^t}，k_T為調整系數，k_T∈[0.5，4]，則目標的外接矩形坐標在t+T時刻的中心點坐標為其運動方向判斷如下公式(11)：

其中，L(t)＝1表示目標的運動方向是正面行走，L(t)＝2表示目標的運動方向是右向行走，L(t)＝3表示目標的運動方向是左向行走；

步驟6、進行目標缺損的修復

6.1)確定步態模板

步態定義為，行人在一次右腿向前跨出最遠的位置到下次右腿向前跨出最遠的位置的過程中的不同姿態；

6.2)進行目標缺損的修復

為了修正步驟5給出的外接矩形內的運動目標的缺失，

首先，根據步驟5目標在畫面中的運動方向，判斷是屬于正向行走、左行或是右行之后，從步驟6.1)保存的步態模板，將其進行縮放，使其外接矩形大小與檢測目標區域的外接矩形大小相同時，選擇與目標當前步態最接近的一個作為當前目標的預測，來修復當前檢測結果中的殘缺，

根據步驟5所確定的目標運動方向，調用該運動方向上的步態模板，設模板為N_k為k＝1，2，3三個運動方向上的模板個數，

當前目標最小外接矩形區域為I_rect，根據所判定的目標運動方向，將屬于該運動方向的各步態模板M_i分別與當前目標最小外接矩形區域I_rect進行匹配，計算重疊面積，參照公式(12)：

其中，w^t，h^t分別為當前目標最小外接矩形的高和寬，選擇重疊面積最大的步態模板M^max作為當前目標的步態模板，

然后，利用判斷出的步態模板M^max，結合目標檢測算法，修正檢測結果，遍歷整個目標的最小外接矩形區域I_rect，若I_rect(x，y)為背景點，而M^max(x，y)為目標點，則按照步驟1中的公式(2)，計算點(x，y)處的特征C_t(x，y)，設定修復缺損的判斷閾值Th₂，Th₂＞Th₁，取值為Th₂＝k_Th·Th₁，k_Th∈[1.1，1.8]，若C_t(x，y)＜Th₂，判斷為目標點，將其修復；否則，則判斷為該點仍屬于背景點，不做修改。