[發明專利]一種基于TOF相機的客流計數方法和裝置

有效

• 申請號: 201710850191.4
• 申請日: 2017-09-20
• 公開（公告）號: CN107563347B
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 李軍;林堅;曹文強
• 申請（專利權）人: 南京行者易智能交通科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于TOF相機的客流計數方法和裝置，包括步驟1，獲取深度圖像；步驟2，通過高度閾值，篩選檢測區域，獲取一幅掩碼圖像；步驟3，對掩碼圖像形態學處理；步驟4，根據掩碼圖獲取彩色圖像中的人頭檢測候選區域，步驟5，深度神經網絡模型在候選區域內定位乘客頭部，步驟6，KCF結合卡爾曼濾波進行跟蹤，步驟7，客流計數。本發明解決了僅使用深度圖像缺乏模式識別功能的問題，通過深度圖像過濾掉圖像中的無效區域，從而加快檢測速度和檢測準確率，綜上所述，本發明能夠達到快速且精確客流計數的目的。

技術領域

本發明涉及計算機視覺領域,特別涉及一種基于TOF相機的客流計數方法和裝置。

背景技術

傳統的公交客流計數方法，包括紅外線裝置和壓力傳感器，這些方法統計結果誤差較大，已經逐漸被摒棄。現在的公交客流計數方法的方向往圖像處理領域發展，基于普通彩色或黑白圖像進行公交客流統計，一般結合深度神經網絡，優點在于，由于結合了模式識別，該方法可以處理多人擁擠、行李背包等復雜場景，缺點在于計算復雜度高且模式識別失敗會造成多計和漏計；基于深度圖像進行公交客流統計，優點在于，計算復雜度低，由于深度信息不受光線影響，檢測單人或簡單場景，準確率高，缺點在于，由于深度圖像丟失太多紋理信息,從而不能對深度圖像直接使用模式識別，復雜場景下容易多計和漏計，而且有的深度攝像機是根據紅外反射檢測深度的，表面光滑物體(例如人的頭發或手機)會對紅外產生鏡面反射，無法測出距離，從而影響計數結果。

發明內容

針對上述方法的不足，本發明的目的是提供一種基于TOF相機的客流計數方法和裝置，該方法使用TOF相機的深度圖像和2D彩色圖像結合模式識別方法進行客流計數，該方法的準確率高、計算復雜度低、計算速度快。

為解決上述技術問題，本發明采取以下技術方案：一種基于TOF相機的客流計數方法，所述方法包括以下步驟:

(1)獲取深度圖像：將TOF相機安裝在公交車前后門的正上方，拍攝方向垂直于公交車廂底面，并接入車輛開關門信號，接通電源，當公交車門開啟時，TOF相機拍攝車內深度圖像，并通過相機內的CMOS模塊獲取彩色圖像；

(2)將深度圖像中低于高度閾值H的像素全部過濾，將過濾的像素的值置為0，高于高度閾值H的像素保留，并將保留的像素的值置為255，這樣獲取了一幅掩碼圖像；

(3)對掩碼圖像進行形態學處理，包括腐蝕和膨脹操作；

(4)對掩碼圖像進行輪廓提取操作，并對每個輪廓取出外接矩形，深度圖像對應的彩色圖像中外接矩形區域對應的圖像區域即稱為檢測候選區域；

(5)使用深度神經網絡訓練的乘客頭部檢測模型，對彩色圖像的每一塊檢測候選區域進行檢測，定位出乘客頭部的位置，所述乘客頭部檢測模型是通過深度神經網絡算法訓練出的模型，訓練樣本包括一定數量的通過將相機安裝在公交車前后門的正上方，拍攝方向垂直于公交車廂底面，拍攝所得到的彩色圖片；

(6)對檢測出的每一個乘客頭部，進行跟蹤，對于當前彩色幀，如果在使用KCF跟蹤算法跟蹤到的位置附近，所述乘客頭部檢測模型沒有檢測到乘客的頭部，則使用KCF的跟蹤結果作為當前幀乘客頭部的位置，如果在使用KCF跟蹤算法跟蹤到的位置附近，所述乘客頭部檢測模型檢測到乘客的頭部，則將KCF跟蹤算法所得到的位置作為預測值，所述乘客頭部檢測模型檢測到的位置作為觀察值，使用卡爾曼濾波算法結合預測值和觀察值確定出當前幀乘客頭部的位置；

(7)進行上下車統計，實現客流計數，在跟蹤的過程中，對于一個乘客頭部目標，如果連續m幀沒有出現觀察值，則放棄此目標的跟蹤；對于跟蹤結束的乘客頭部，如果其持續時間超過n幀，開始和結束的位置偏移量超過預先設定的閾值，則形成了一個有效的計數；根據開始和結束的位置，確定出該名乘客是上車還是下車，實現客流計數。