[發(fā)明專利]基于頭部特征點(diǎn)的車載熱成像行人檢測(cè)RoIs提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010132889.4
• 申請(qǐng)日: 2020-02-29
• 公開（公告）號(hào): CN111368704B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 陽(yáng)松;劉瓊
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V20/58;G06V10/26;G06V10/774;G06V10/764
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.基于頭部特征點(diǎn)的車載熱成像行人檢測(cè)RoIs提取方法，其特征在于，包括以下步驟：

步驟一、逐幀逐行人提取訓(xùn)練數(shù)據(jù)已標(biāo)注行人的頭部中心點(diǎn)，按95％置信度逐幀統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)行人頭部中心點(diǎn)獲取幀頭部區(qū)域；

步驟二、逐幀提取訓(xùn)練數(shù)據(jù)行人頭部特征點(diǎn)，定義并訓(xùn)練頭部特征點(diǎn)RoIs模型；包括以下步驟：

S2.1、定義頭部特征點(diǎn)RoIs模型；定義頭部特征點(diǎn)RoIs模型如式(4)所示：

其中，x,y,w,h分別表示頭部特征點(diǎn)RoIs的左上角像素位置(x,y)和像素寬(w)/像素高(h)；μ為統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)獲得的行人外接矩形的寬高比，α,β,γ為頭部特征點(diǎn)RoIs模型的參數(shù)；

步驟S2.2中，所述逐幀提取訓(xùn)練數(shù)據(jù)行人頭部特征點(diǎn)，利用SURF(Speed?Up?RobustFeature)算法逐幀提取特征點(diǎn)，描述為(x_p,y_p,r_p,t_p,l_p)，(x_p,y_p)表示第p個(gè)特征點(diǎn)位置，r_p表示第p個(gè)特征點(diǎn)以(x_p,y_p)為圓心的半徑，0r_p≤51；t_p表示第p個(gè)特征點(diǎn)的響應(yīng)值，t_p閾值為δ，δ取值由實(shí)驗(yàn)獲得；l_p表示第p個(gè)特征點(diǎn)的拉普拉斯值；

l_p0時(shí)，所提取的特征點(diǎn)為極亮點(diǎn)，當(dāng)且僅當(dāng)t_pδ和l_p0，特征點(diǎn)(x_p,y_p,r_p,t_p,l_p)為行人頭部特征點(diǎn)；下標(biāo)p表示特征點(diǎn)序號(hào)，p＝1,2,3,……,N_P，1≤N_P41；

步驟S2.3中，所述訓(xùn)練頭部特征點(diǎn)RoIs模型，集合S_α、S_β和S_γ分別提供頭部特征點(diǎn)RoIs模型參數(shù)α、β、γ的取值，集合S為S_α、S_β和S_γ的笛卡爾積，如式(5)所示：

定義損失函數(shù)如式(6)所示，損失函數(shù)最小化尋優(yōu)即遍歷S并輪詢訓(xùn)練數(shù)據(jù)，通過(guò)N_S次輪詢定位GT最大成功匹配個(gè)數(shù)所對(duì)應(yīng)的S(k)記作S(k_m)；第k次遍歷S取出S(k)代入式(4)獲得R^S(k)(i,q)；逐幀輪詢訓(xùn)練數(shù)據(jù)，逐GT(i,j)按q匹配R^S(k)(i,q)記錄第i幀成功匹配GT的個(gè)數(shù)；進(jìn)而累計(jì)第k次輪詢訓(xùn)練數(shù)據(jù)成功匹配GT的個(gè)數(shù)；逐GT(i,j)按q匹配R^S(k)(i,q)即按q順序計(jì)算GT(i,j)與R^S(k)(i,q)的交并比，提取最大IoU記作U_max，若U_max≥η，則這次匹配是一次成功匹配，η∈{0.5,0.6,0.7,0.8,0.9}；第i幀GT(i,j)成功匹配R^S(k)(i,q)的個(gè)數(shù)不大于N_Gi；其中，R^S(k)(i,q)為第i幀第q個(gè)頭部特征點(diǎn)RoIs，序號(hào)q＝1,2,3,…,N_Hi，N_Hi為第i幀頭部特征點(diǎn)RoIs的個(gè)數(shù)，1≤N_Hi21；S(k)表示S的第k個(gè)元素，即第k組α,β,γ取值，k＝1,2,3,…,N_S；

其中，Loss(S(k))表示取S(k)時(shí)的損失值；O(·)表示IoU計(jì)算公式，¹{·}為指示函數(shù)，當(dāng)max(O(R^S(k)(i,q),G(i,j)))＜η，則¹{·}＝1，否則¹{·}＝0；α(k_α)表示集合S_α的第k_α個(gè)元素，β(k_β)表示集合S_β的第k_β個(gè)元素，γ(k_γ)表示集合S_γ的第k_γ個(gè)元素；

步驟三、利用步驟一中得到的幀頭部區(qū)域裁減出當(dāng)前圖像幀，計(jì)算得到當(dāng)前圖像幀的雙閾值分割二值圖，合并裁剪得到的當(dāng)前圖像幀及當(dāng)前圖像幀的雙閾值分割二值圖獲得當(dāng)前幀頭部特征點(diǎn)區(qū)域；利用步驟一中得到的幀頭部區(qū)域裁減出當(dāng)前圖像幀，采用自適應(yīng)雙閾值分割算法計(jì)算得到當(dāng)前圖像幀的雙閾值分割二值圖，合并裁剪得到的當(dāng)前圖像幀及當(dāng)前圖像幀的雙閾值分割二值圖獲得當(dāng)前幀頭部特征點(diǎn)區(qū)域，如式(7)所示：

其中，I_p表示當(dāng)前幀頭部特征點(diǎn)區(qū)域，I_p(x,y)表示當(dāng)前幀頭部特征點(diǎn)區(qū)域位置(x,y)的像素值，I_dt表示雙閾值分割二值圖，I_dt(x,y)＝＝1表示I_dt位置(x,y)為前景點(diǎn)，I(x,y)表示當(dāng)前幀位置(x,y)的像素值，位置(x,y)位于步驟一中得到的幀頭部區(qū)域即T(k_min)矩形區(qū)域內(nèi)；

步驟四、采樣并篩選當(dāng)前幀頭部特征點(diǎn)區(qū)域獲得當(dāng)前幀頭部特征點(diǎn)；

步驟五、利用步驟二中訓(xùn)練完的頭部特征點(diǎn)RoIs模型計(jì)算獲得當(dāng)前幀頭部特征點(diǎn)RoIs并與當(dāng)前幀雙閾值分割RoIs合并生成當(dāng)前幀RoIs；

步驟六、度量和調(diào)整當(dāng)前幀RoIs，度量和調(diào)整當(dāng)前幀RoIs包括IoU度量/調(diào)整和前景關(guān)聯(lián)度量/調(diào)整；

所述IoU度量/調(diào)整即逐個(gè)計(jì)算當(dāng)前幀雙閾值分割RoIs?R_dt(p)依次與當(dāng)前幀N_h個(gè)頭部特征點(diǎn)的IoU?U_p(q)，若U_p(q)0.5，則刪除當(dāng)前獲得當(dāng)前幀的保留RoIs即集合R，如式(9)所示：

其中，p為R_dt的序號(hào)，p＝1,2,3,…,N_dt,1≤N_dt21；q為的序號(hào)，q＝1,2,3,…,N_h,1≤N_h21；

S2.2、逐幀提取訓(xùn)練數(shù)據(jù)行人頭部特征點(diǎn)；

S2.3、利用步驟S2.2中提取的行人頭部特征點(diǎn)訓(xùn)練頭部特征點(diǎn)RoIs模型。