[發明專利]一種基于單目攝像頭的行人距離預測方法

有效

• 申請號: 202010450217.8
• 申請日: 2020-05-25
• 公開（公告）號: CN111738088B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 錢學明;楊瑾;鄒屹洋;侯興松
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06V10/766;G06N3/04;G01C3/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 姚詠華

本發明公開一種基于單目攝像頭的行人距離預測方法，包括：使用單目攝像頭確定行人人頭高度?行人攝像頭距離模型,并采集視頻；標注行人檢測及行人距離樣本集；建獲得卷積神經網絡模型；使用訓練樣本對獲得的卷積神經網絡模型進行訓練，獲得行人檢測及距離預測模型；將要檢測的圖片輸入訓練好的行人檢測及距離預測模型中，獲得行人的坐標、得分以及距離。本發明充分發揮了深度學習檢測方法的優點，保持了高精度和好的魯棒性，可以在使用成本較低的單目攝像頭的情況下，在檢測行人的同時較為準確的預測出行人與攝像頭的距離,同時本發明在行人距離攝像頭較近或者行人有遮擋的情況下不受干擾，仍能正常的預測出行人的距離。

技術領域

本發明屬于計算機數字圖像處理與模式識別技術領域，特別涉及一種基于單目攝像頭的行人距離預測方法。

背景技術

保障行人安全是道路交通安全系統的重要目標之一，這使行人檢測作為駕駛輔助系統(advanced driver assistance systems，ADAS)中的核心組成部分。

目前，ADAS中的行人檢測大多是基于視覺的檢測方法。從早期基于背景建模和統計學習的檢測方法，到近幾年基于深度神經網絡的行人檢測模型，都在行人檢測領域取得了較好的效果。尤其是基于深度神經網絡的行人檢測模型由于具有較高的檢測精度和較好的魯棒性已成為行人檢測領域的研究熱點之一。

獲取行人的距離信息可以使用激光雷達等測距設備，但是激光雷達存在成本高的缺點。

發明內容

本發明的目的在于提供一種基于單目攝像頭的行人距離預測方法，通過使用單目攝像頭完成對行人的檢測及行人距離單目攝像頭的距離估計，以降低行人距離預測的成本。

為了實現上述目的，本發明采用如下技術方案：

一種基于單目攝像頭的行人距離預測方法，包括以下步驟：

步驟1：使用單目攝像頭確定行人人頭高度-行人攝像頭距離模型,并采集視頻；

步驟2：標注行人檢測及行人距離，獲得訓練樣本集；

步驟3：在深度學習目標檢測模型上增加用于行人距離回歸預測的結構分支，構建獲得卷積神經網絡模型；

步驟4：通過步驟2獲得的訓練樣本集對步驟3獲得的卷積神經網絡模型進行訓練，獲得訓練好的卷積神經網絡模型，作為行人檢測及距離預測模型；

步驟5：將從單目攝像頭采集的圖片輸入步驟4獲得的行人檢測及距離預測模型中，獲得行人的坐標、得分以及距離，完成基于單目攝像頭的行人距離預測。

進一步的，步驟1使用單目攝像頭，將攝像頭高度固定，結合攝像頭的內部參數，利用小孔成像原理和三角形相似原理，確定出行人人頭高度-行人攝像頭距離模型：假設行人人頭高度為h，行人距離攝像頭實際距離為d，則得到轉換系數a，使得d＝h*a。

進一步的，步驟2具體包括：

2.1)對步驟1采集的視頻進行抽幀處理，抽幀的間隔為25幀，獲得視頻的初始幀圖片；

2.2)對初始幀圖片使用運動模糊算法進行判斷，去除初始幀圖片中的模糊圖片；

2.3)對去除模糊幀后的初始幀圖片進行標注，將行人與行人的頭部都標注出來，行人的類型標注為person，人頭標注為head；標注完成后每張圖片都生成對應Pascal VOC格式的xml文件；

2.4)對標注完成的初始xml文件進行處理，根據人頭的像素高度與步驟1得到行人人頭高度-行人攝像頭距離模型，換算得到行人與攝像頭的距離，將該距離作為dist屬性加入xml文件中，同時刪去初始xml的人頭行人人頭位置，最后獲得最終的xml文件。