[發(fā)明專(zhuān)利]用編碼向量的行人圖像檢測(cè)自適應(yīng)非極大值抑制處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910936327.2
• 申請(qǐng)日: 2019-09-29
• 公開(kāi)（公告）號(hào): CN110909591B
• 公開(kāi)（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 朱建科;張加良;楊雨
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06V40/10
• 分類(lèi)號(hào): G06V40/10;G06V10/46;G06V10/774;G06K9/62
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種用編碼向量的行人圖像檢測(cè)自適應(yīng)非極大值抑制處理方法，其特征在于：

1)行人圖像進(jìn)行特征提取，獲得多幅特征圖，特征圖中包含有身份信息和密度信息，進(jìn)而通過(guò)網(wǎng)絡(luò)模型處理獲得候選檢測(cè)框；

2)針對(duì)所有候選檢測(cè)框利用多幅特征圖采用非極大值抑制算法進(jìn)行迭代處理，優(yōu)化獲得行人目標(biāo)的檢測(cè)框作為檢測(cè)結(jié)果；

所述步驟1)具體分為兩個(gè)階段：

在模型訓(xùn)練階段：

1.1)對(duì)輸入的行人圖像采用特征提取模塊后進(jìn)行特征提取得到特征圖φ_det；

1.2)輸入的行人圖像上存在真實(shí)矩形框，真實(shí)值為真實(shí)矩形框中點(diǎn)的坐標(biāo)(x_k，y_k)；特征圖φ_det的大小為輸入的行人圖像的1/4，對(duì)于輸入行人圖像上的第k個(gè)真實(shí)值(x_k，y_k)，該真實(shí)值(x_k，y_k)在特征圖φ_det中位于坐標(biāo)處，取特征圖φ_det中位于特征提取后的真實(shí)值坐標(biāo)附近的四個(gè)整數(shù)位置像素點(diǎn)坐標(biāo)作為四個(gè)正樣本；

1.3)特征圖φ_det分別連接到四個(gè)次級(jí)特征處理模塊進(jìn)行處理，獲得中心點(diǎn)特征圖、尺度特征圖、偏移量特征圖和身份-密度特征圖，每個(gè)次級(jí)特征處理模塊均由兩個(gè)卷積層依次連接構(gòu)成；

中心點(diǎn)特征圖、尺度特征圖、偏移量特征圖和身份-密度特征圖上的每個(gè)像素點(diǎn)代表對(duì)應(yīng)一個(gè)檢測(cè)框，四種特征圖分別代表對(duì)應(yīng)不同的檢測(cè)框?qū)傩裕褐行狞c(diǎn)特征圖上的每個(gè)像素點(diǎn)表示特征圖φ_det上對(duì)應(yīng)的像素點(diǎn)為檢測(cè)框的中心的置信度，尺度特征圖上的每個(gè)像素點(diǎn)代表了以特征圖φ_det上對(duì)應(yīng)相同位置的像素點(diǎn)為中心所建立的檢測(cè)框的長(zhǎng)和寬，偏移量特征圖上的每個(gè)像素點(diǎn)代表了特征圖φ_det上對(duì)應(yīng)像素點(diǎn)的坐標(biāo)相對(duì)于原始輸入圖片上的坐標(biāo)的偏移量；身份-密度特征圖上的每個(gè)像素點(diǎn)對(duì)應(yīng)建立包含身份信息及密度信息的編碼向量；

1.4)利用損失函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練；

在模型測(cè)試階段：

2.1)對(duì)輸入的行人圖像通過(guò)訓(xùn)練好的檢測(cè)模型得到特征圖φ_det進(jìn)而得到四張與φ_det同等大小的中心點(diǎn)特征圖、尺度特征圖、偏移量特征圖，以及身份-密度特征圖；

2.2)根據(jù)中心點(diǎn)特征圖上每一個(gè)像素點(diǎn)代表一個(gè)檢測(cè)框，每個(gè)點(diǎn)的值表示該點(diǎn)為檢測(cè)框中心的置信度，對(duì)置信度過(guò)低的檢測(cè)框進(jìn)行過(guò)濾，獲得所有候選檢測(cè)框；

針對(duì)每個(gè)檢測(cè)框，建立一種長(zhǎng)度為m的編碼向量e，編碼向量e起點(diǎn)為原點(diǎn)，編碼向量e的長(zhǎng)度表示密度信息，編碼向量e的末端終點(diǎn)的坐標(biāo)表示身份信息；并且在網(wǎng)絡(luò)模型優(yōu)化訓(xùn)練時(shí)，建立和利用以下編碼向量e的損失函數(shù)進(jìn)行訓(xùn)練：

1)先建立編碼向量e中密度信息的損失函數(shù)，通過(guò)最小化編碼向量e中密度信息與密度真實(shí)值之間的均方誤差進(jìn)行表示，密度真實(shí)值是指該真實(shí)矩形框與其他真實(shí)矩形框的最大重疊度：

其中，N表示真實(shí)矩形框的數(shù)量，N_p表示每個(gè)真實(shí)矩形框的正樣本數(shù)量，N_p＝4，e_k，i表示第k個(gè)真實(shí)矩形框第i個(gè)正樣本的編碼向量，||e_k，i||₂表示L2范數(shù)，dk為真實(shí)矩形框k的密度真實(shí)值；

2)采用以下公式來(lái)表示編碼向量e中身份信息的損失函數(shù)，分為拉pull和推push兩部分：

其中，L_pull表示每個(gè)真實(shí)矩形框與對(duì)應(yīng)的四個(gè)正樣本距離的子損失函數(shù)，L_push表示每個(gè)檢測(cè)框與其他檢測(cè)框距離的子損失函數(shù)，表示編碼向量e_k，i對(duì)應(yīng)的單位向量，Δ表示判斷兩個(gè)檢測(cè)框是否重合的閾值，e_k表示第k個(gè)真實(shí)矩形框四個(gè)正樣本編碼向量的均值，表示編碼向量e_k對(duì)應(yīng)的單位向量，表示第j個(gè)檢測(cè)框編碼向量對(duì)應(yīng)的單位向量；

3)編碼向量e的損失函數(shù)L_ID表示為：

L_ID＝λ_densityL_density+(L_pull+L_push)

其中，λ_density表示子損失函數(shù)L_density所占的權(quán)重比例；

最后將編碼向量e的損失函數(shù)L_ID放入網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練得到身份-密度特征圖ID-Map；

所述步驟2)具體為：

將候選檢測(cè)框全部放入集合作為所有初始的檢測(cè)框的集合，同時(shí)建立一個(gè)空集作為檢測(cè)框的篩選結(jié)果集合，當(dāng)集合不等于空集時(shí)，執(zhí)行以下循環(huán)：

2.1)從集合中選取置信度最高對(duì)應(yīng)的檢測(cè)框，記為當(dāng)前最優(yōu)檢測(cè)框?qū)?dāng)前最優(yōu)檢測(cè)框從集合中轉(zhuǎn)移到集合中；

2.2)計(jì)算集合和剩余的每個(gè)檢測(cè)框b_i與當(dāng)前最優(yōu)檢測(cè)框的距離值若δ_t為預(yù)設(shè)的編碼向量距離閾值，則取自適應(yīng)重疊度閾值為當(dāng)前最優(yōu)檢測(cè)框的編碼向量e中的密度信息max()表示取兩者中的較大者，否則取自適應(yīng)重疊度閾值N_t為固定預(yù)設(shè)的非極大值抑制值；

2.3)最后比較每個(gè)檢測(cè)框b_i與當(dāng)前最優(yōu)檢測(cè)框的重疊度與自適應(yīng)重疊度閾值之間大小，若重疊度大于自適應(yīng)重疊度閾值則將檢測(cè)框b_i從集合中刪去，否則保留檢測(cè)框b_i；

2.4)以最后獲得篩選結(jié)果集合中的檢測(cè)框作為行人圖像中的行人檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種用編碼向量的行人圖像檢測(cè)自適應(yīng)非極大值抑制處理方法，其特征在于：所述步驟1.3)中，身份-密度特征圖的次級(jí)特征處理模塊是在特征提取模塊之后連接一個(gè)有256個(gè)通道的3×3卷積核的卷積層，再連接一個(gè)有256個(gè)通道的1×1卷積核的卷積層獲得身份-密度特征圖。