[發明專利]一種基于3D點云數據的客流統計視覺方法和系統

在審

• 申請號: 201911370403.4
• 申請日: 2019-12-26
• 公開（公告）號: CN111126314A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 朱平民
• 申請（專利權）人: 杭州中科先進技術研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏

本發明提供一種基于3D點云數據的客流統計視覺方法和系統。該方法包括：對于獲得的3D點云數據，選擇數據中的相位、振幅、環境數據融合成三通道的圖像數據；基于所述三通道的圖像數據進行運動物體分割，提取出運動物體區域；利用深度神經網絡判別所述運動物體區域中是否有人，進而統計指定的圖像區域的客流情況。本發明能夠將深度神經網絡用于3D點云數據的分析，精確判斷圖像的前景區域是否有人，進而分析客流情況。

技術領域

本發明涉及機器視覺技術領域，尤其涉及一種基于3D點云數據的客流統計視覺方法和系統。

背景技術

隨著城市化的發展，諸如商城、高鐵、機場、公交車等有人場所越來越多，安防領域中分析視頻客流行為也越來越重要。3D點云數據技術也逐步應用于安防領域。

點云數據技術是一種三維圖像數據處理技術，與二維彩色圖像數據不同的是，點云數據擁有深度信息，該深度信息能描述任意目標與傳感器的距離值，這種深度信息在當前視覺傳感器中有不可替代的作用。特別是對于激光雷達紅外傳感器，點云技術有巨大的技術提升空間和應用價值。

隨著技術的發展，二維圖像的處理技術日趨成熟，尤其在深度學習技術的成熟應用后，例如人臉識別、字符識別等，與二維圖像相關的技術應用也日趨廣泛。然而，目前將三維圖像技術應用于深度神經網絡還存在許多挑戰，這是因為，深度神經網絡成功的關鍵是能利用數據中以網格形式密集表示的空間上的局部相關性。然而，3D點云數據是不規則和無序的非結構化數據(無網格)，因此在這些點所關聯的特征上直接求核的卷積會導致形狀信息的丟失，同時還會因順序不同而不同。

發明內容

本發明的目的在于克服上述現有技術的缺陷，提供一種基于3D點云數據的客流統計視覺方法和系統，能夠將深度神經網絡應用于3D點云數據的處理，實時地獲得客流統計情況。

根據本發明的第一方面，提供一種基于3D點云數據的客流統計視覺方法，該方法包括以下步驟：

對于獲得的3D點云數據，選擇數據中的相位、振幅、環境數據融合成三通道的圖像數據；

基于所述三通道的圖像數據進行運動物體分割，提取出運動物體區域；

利用深度神經網絡判別所述運動物體區域中是否有人，進而統計指定的圖像區域的客流情況。

在一個實施例中，所述深度神經網絡包括第一卷積層、第二卷積層、第三卷積層、第一反卷積層、第二反卷積層和輸出層，其中，所述第一卷積層的輸出分別連接到所述第二卷積層和所述第二反卷積層，所述第二卷積層的輸出分別連接到所述第三卷積層和所述第一反卷積層，所述第三卷積層的輸出連接到所述第一反卷積層，所述第一反卷積層的輸出連接到所述第二反卷積層，所述第二反卷積層的輸出連接到所述輸出層。

在一個實施例中，所述3D點云數據包含相位數據、振幅數據、環境數據以及對應數據是否飽和的標識數據。

在一個實施例中，所述運動物體的分割包括以下步驟：對所述三通道的圖像數據進行濾波預處理；對預處理后的圖像使用最大類間方差法進行二值化；進行連通域分析篩選出感興趣區域；使用相鄰幀的差分提取前景，分割出運動物體區域。

在一個實施例中，采用高斯濾波和中值濾波進行預處理，以過濾圖像中噪聲、線。

在一個實施例中，將所述三通道的圖像數據存儲成彩色圖像。

在一個實施例中，所述3D點云數據通過TOF傳感器采集獲得。