[發(fā)明專利]一種多尺度遮擋行人檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110372771.3
• 申請日: 2021-04-07
• 公開（公告）號: CN113191204B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計）人: 韓守東;鄭麗君;潘孝楓;丁繪霖
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/774;G06V20/52;G06V40/10;G06K9/62
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 王穎翀

1.一種多尺度遮擋行人檢測方法，其特征在于，所述方法包括：

S1：將待檢測圖像分別輸入行人全身檢測模型和行人頭部檢測模型，得到全身檢測結(jié)果集和頭部檢測結(jié)果集；其中，所述行人全身檢測模型和行人頭部檢測模型均基于訓(xùn)練好的CSP模型建立；

S2：選取B中置信度得分最高的框b_k，從B中刪除并直接放入D；

其中，B為由行人全身檢測模型得到的全身檢測結(jié)果集合，D為最終行人檢測結(jié)果集合，D＝{}，D初始為空集；

S3：從B里剩下的全身檢測框中，選取所有與b_k之間IoU值大于可信閾值的全身檢測框組成待定檢測結(jié)果集合B`，并將B`中的元素從B中刪除；

S4：依次判斷B`中的各元素是否有頭部框?qū)?yīng)，若有，則將其放回到B中，否則將其徹底從B`中刪除；

S5：循環(huán)S2到S4，直到B為空集，最后得到的D即為最終行人檢測結(jié)果；

所述CSP模型包括特征提取模塊、中心點預(yù)測模塊、尺度預(yù)測模塊、中心點偏置預(yù)測模塊及檢測框生成與后處理模塊；所述特征提取模塊使用特征提取網(wǎng)絡(luò)提取輸入圖片的特征圖，該特征圖被共享用于中心點預(yù)測模塊、尺度預(yù)測模塊、中心點偏置預(yù)測模塊；中心點預(yù)測模塊以行人標注中心點生成的高斯分布圖作為目標，對特征圖上各點進行逐像素地打分，以獲取行人檢測框的中心點坐標；尺度預(yù)測模塊以行人標注中心點和高度生成的掩膜圖像作為目標，對特征圖進行卷積回歸操作，得到的預(yù)測圖像中，每一像素點處的像素值均為該點可能存在目標的高度對數(shù)預(yù)測值；中心點偏置預(yù)測模塊以原圖中某點坐標和按比例放縮后該點映射坐標之間的差異為預(yù)測目標，使用該模塊得到的預(yù)測圖像中各點像素值，對中心點預(yù)測模塊得到的預(yù)測中心點坐標進行微調(diào)；檢測框生成與后處理模塊根據(jù)中心點預(yù)測模塊、尺度預(yù)測模塊和中心點偏置預(yù)測模塊的輸出，由幾何計算得到原圖中行人預(yù)測候選框的中心點坐標和寬高，進而得到該候選框的坐標；對這些候選框進行非極大值抑制操作，篩除冗余框，得到檢測結(jié)果集。

2.如權(quán)利要求1所述的多尺度遮擋行人檢測方法，其特征在于，所述判斷B`中的各元素是否有頭部框?qū)?yīng)，具體為：

將頭部檢測結(jié)果按照預(yù)設(shè)比例轉(zhuǎn)化為虛擬全身檢測結(jié)果，計算待定檢測結(jié)果與未被匹配的各虛擬全身檢測結(jié)果的IoU值，若各IoU值中的最大值大于匹配IoU閾值，且所述待定檢測結(jié)果與所述最大值對應(yīng)的虛擬全身檢測結(jié)果的寬值間距與高值間距之和小于匹配間距閾值，則所述待定檢測結(jié)果有匹配的頭部檢測框。

3.如權(quán)利要求1所述的多尺度遮擋行人檢測方法，其特征在于，所述行人全身檢測模型和行人頭部檢測模型分別對所述待檢測圖像進行特征提取，得到所述待檢測圖像的特征圖，基于所述待檢測圖像的特征圖，獲取全身檢測框和頭部檢測框的中心點、高度和中心點偏置量；對所述全身檢測框和頭部檢測框的中心點、高度和中心點偏置量進行幾何變換得到全身檢測候選框和頭部檢測候選框，并對所述全身檢測候選框和頭部檢測候選框進行NMS后處理，得到全身檢測結(jié)果和頭部檢測結(jié)果。

4.如權(quán)利要求3所述的多尺度遮擋行人檢測方法，其特征在于，所述行人全身檢測模型和行人頭部檢測模型分別對所述待檢測圖像進行特征提取，得到n張分辨率不同的特征圖，并將所述n張分辨率不同的特征圖進行通道連接，得到所述待檢測圖像的特征圖；其中，n為大于0的整數(shù)。

5.如權(quán)利要求4所述的多尺度遮擋行人檢測方法，其特征在于，所述行人全身檢測模型和行人頭部檢測模型分別對所述待檢測圖像進行特征提取，得到所述待檢測圖像的特征圖之后，還包括：

將所述待檢測圖像的特征圖F進行降維得到矩陣M，將矩陣M與轉(zhuǎn)置矩陣M`相乘，并進行softmax變換得到方陣N，將所述方陣N與矩陣M相乘，并進行維度還原得到張量F`，將F`與F進行逐通道逐元素相加，得到張量E。

6.如權(quán)利要求3所述的多尺度遮擋行人檢測方法，其特征在于，對所述全身檢測候選框進行NMS后處理時所采用的IoU閾值大于對所述頭部檢測候選框進行NMS后處理時所采用的IoU閾值，且大于所述可信閾值。