[發明專利]一種基于單目攝像頭的行人距離預測方法

有效

• 申請號: 202010450217.8
• 申請日: 2020-05-25
• 公開（公告）號: CN111738088B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 錢學明;楊瑾;鄒屹洋;侯興松
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06V10/766;G06N3/04;G01C3/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 姚詠華

1.一種基于單目攝像頭的行人距離預測方法，其特征在于，包括以下步驟：

步驟1：使用單目攝像頭確定行人人頭高度-行人攝像頭距離模型,并采集視頻；

步驟2：標注行人檢測及行人距離，獲得訓練樣本集；

步驟3：在深度學習目標檢測模型上增加用于行人距離回歸預測的結構分支，構建獲得卷積神經網絡模型；

步驟4：通過步驟2獲得的訓練樣本集對步驟3獲得的卷積神經網絡模型進行訓練，獲得訓練好的卷積神經網絡模型，作為行人檢測及距離預測模型；

步驟5：將從單目攝像頭采集的圖片輸入步驟4獲得的行人檢測及距離預測模型中，獲得行人的坐標、得分以及距離，完成基于單目攝像頭的行人距離預測；

步驟3深度學習目標檢測模型為YOLO、Faster-RCNN、SSD或RetinaNet；

步驟3具體包括：

3.1)修改深度學習目標檢測模型中的數據讀取部分；

3.2)在步驟3.1)修改后的深度學習目標檢測模型中加入行人距離預測分支；

步驟3.2)中，距離預測分支，由5層卷積層構成，每層卷積核大小都為3×3，卷積步長為1填充為1，前四層卷積層的輸出，最后一層卷積輸出通道數為錨框數；選取ResNet50作為目標檢測網絡特征提取的基礎網絡，使用5層的特征金字塔對抽取的特征進行特征融合，每個特征層后都接有坐標回歸分支、目標類別分支以及距離預測分支；特征金字塔中5層特征圖的通道數均為256，特征圖大小分別為100×136、50×68、25×34、13×17、7×9。

2.根據權利要求1所述的一種基于單目攝像頭的行人距離預測方法，其特征在于，步驟1使用單目攝像頭，將攝像頭高度固定，結合攝像頭的內部參數，利用小孔成像原理和三角形相似原理，確定出行人人頭高度-行人攝像頭距離模型：假設行人人頭高度為h，行人距離攝像頭實際距離為d，則得到轉換系數a，使得d＝h*a。

3.根據權利要求1所述的一種基于單目攝像頭的行人距離預測方法，其特征在于，步驟2具體包括：

2.1)對步驟1采集的視頻進行抽幀處理，抽幀的間隔為25幀，獲得視頻的初始幀圖片；

2.2)對初始幀圖片使用運動模糊算法進行判斷，去除初始幀圖片中的模糊圖片；

2.3)對去除模糊幀后的初始幀圖片進行標注，將行人與行人的頭部都標注出來，行人的類型標注為person，人頭標注為head；標注完成后每張圖片都生成對應Pascal VOC格式的xml文件；

2.4)對標注完成的初始xml文件進行處理，根據人頭的像素高度與步驟1得到行人人頭高度-行人攝像頭距離模型，換算得到行人與攝像頭的距離，將該距離作為dist屬性加入xml文件中，同時刪去初始xml的人頭行人人頭位置，最后獲得最終的xml文件。

4.根據權利要求1所述的一種基于單目攝像頭的行人距離預測方法，其特征在于，步驟4具體包括：

4.1)在網絡總損失函數Loss中加入MSELoss，對行人距離分支部分進行約束，MSELoss計算公式為l(x,y)＝(x-y)²；網絡總損失函數由3部分組成：行人置信度的FocalLoss、坐標回歸的SmoothL1Loss、距離回歸的均方誤差損失MSELoss；

4.2)模型訓練，訓練時使用的框架為Pytorch，模型的基礎網絡ResNet50使用的是在ImageNet分類任務上的預訓練模型，在該模型的基礎上采用Fine-tuning策略進行訓練，訓練時使用的優化算法為小批量隨機梯度下降算法，訓練一共24個epoch，每個批量的樣本數量為4；訓練好的卷積神經網絡模型同時具有行人檢測及行人距離預測功能。

5.根據權利要求1所述的一種基于單目攝像頭的行人距離預測方法，其特征在于，步驟5具體包括：

5.1)將從單目攝像頭采集的圖片輸入到行人檢測及距離預測模型中得到網絡的輸出結果，輸出結果為檢測完成后網絡輸出n個6維的向量，第n個檢測結果向量為R_n＝{x_n,y_n,w_n,h_n,s_n,d_n}，其中{x_n,y_n,w_n,h_n}分別代表第n個檢測結果對應坐標框的左上角坐標以及框的寬度和高度，s_n表示第n個檢測結果為行人的置信度，d_n表示第n個檢測結果的行人預測距離；

5.2)按照0.5的置信度閾值，將所有置信度s_n低于置信度閾值的檢測結果作為結果刪除；

5.3)將步驟5.2)處理后的所有結果按照置信度s按照從大到小的順序排序，根據公式把排序第二及之后的檢測結果位置坐標框R_k與排序第一的結果R₁計算IOU，k1；公式的表達式為：

式中，IOU_1,k代表排名第1位的候選框與排名第k位的候選框的交疊面積與合并面積的比值，area(R₁∩R_k)代表排名第1位的候選框與排名第k位的候選框交集區域的面積，area(R₁∪R_k)代表排名第1位的候選框與排名第k位的候選框并集區域的面積；

5.4)設置IOU閾值0.5，將所有高于IOU閾值的結果刪除；

5.5)完成步驟5.4)過后，取出置信度排序第一的結果作為正確結果輸出，將剩下的結果循環按照5.3)、5.4)操作，直至排序結果數小于等于1；最終得到的所有結果即為最后輸出的結果。