[發明專利]使用深度傳感器計數人的方法和系統

有效

• 申請號: 201380070934.6
• 申請日: 2013-11-19
• 公開（公告）號: CN105122270B
• 公開（公告）日: 2019-03-08
• 發明（設計）人: L.王;F.阿格達西
• 申請（專利權）人: 派爾高公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張貴東

根據本發明的實施例的傳感器系統可以處理深度數據和可見光數據以用于更精確的檢測。在可見光圖像易受誤報的情況下深度數據是有幫助的。可見光圖像(或視頻)可以類似地增強單獨從深度數據得出的結論。檢測可以是基于物體的或者用目標物體的環境限定。取決于目標物體，檢測的類型可以變化以包括運動和行為。所述傳感器系統的應用包括運動引導接口，其中用戶可以通過姿勢與一個或多個系統交互。所述的傳感器系統也可以應用于計數系統、監控系統、投票系統、零售店分析等。

相關申請

本申請是2012年11月21日提交的美國申請第13/683,886號的繼續申請。

以上申請的完整教導通過引用合并于本文中。

背景技術

許多應用受益于場景內的人的精確計數。這些應用中的一些可以與加熱通風和空氣調節(HVAC)控制系統、視頻監控系統、零售系統和其他領域組合使用。例如，人的精確計數可以為零售商提供統計信息以判斷他們的廣告效果，并且其他應用可以使用計數來檢測安全檢查點處的尾隨。市政當局也可以使用精確的場景人口計數來確定特定設施處的游客的數量。通過使用可見光譜和熱感照相機計數人會導致不精確計數。

發明內容

當陰影呈現類似的形狀和尺寸時，可見光譜照相機難以檢測場景中的物體。熱感照相機依賴于溫度變化來確定或檢測場景中的運動。當溫度與移動物體的溫度相同或接近時，熱感照相機在檢測移動物體中遇到問題。精確地計數人的深度傳感器的應用被描述。深度信息可以用于導出頭部尺寸，并且使用該信息，確定頭部的檢測窗口的性質。其他物體檢測方法應用(一個或多個)多尺度(scale)檢測器。通過經由相對物體尺寸計算去除多尺度檢測，所述的技術通過單尺度檢測明顯地改善檢測率，提供具有減小計算復雜性的增加精度。

本文中所述的實施例包括一種用于計數人的方法，其從深度傳感器獲得深度數據，從深度數據內從背景物體辨別前景物體，并且基于深度數據從前景物體中確定匹配目標物體的參考模型的前景物體。

在一個實施例中，深度傳感器可以安裝成提供場景的俯視圖。深度傳感器可以與可見光譜照相機組合使用以從辨別的前景物體進一步確定場景人口計數。根據一個實施例，傳感器(深度或可見光譜)可以在幀之間跟蹤從前景物體中被確定為匹配參考模型的一個或多個前景物體。實施例也可以包括在場景內持續預定時間段沒有運動的情況下將場景人口計數重置為零。計數人的方法也可以包括從可見光譜照相機獲得可見圖像并且使用可見光譜照相機中的信息來檢查計數的精度。

來自可見光譜照相機的信息可以包括運動信息、時間屬性、位置和特征。在一個實施例中，傳感器可以將元數據傳送到數據中心。方法還可以包括使用深度傳感器成像場景并且報告人的數量、統計結果或補充數據。在一個實施例中，從前景物體中確定背景物體匹配人頭部的參考模型。

實施例可以包含或使用具有存儲在其上的程序指令的計算機可讀介質，所述程序指令可加載并且由處理器可執行，并且當由處理器執行時，導致處理器從深度傳感器獲得深度數據，從深度數據識別前景物體，并且應用機器學習應用程序以生成前景物體的分類確定，并且保持分類確定計數。程序指令還可以導致處理器從深度數據減去背景信息以識別前景物體，從可見光譜照相機獲得圖像數據，分析圖像數據以產生圖像分析結果，并且組合來自產生的圖像分析結果的信息和深度數據信息以增加識別前景物體的精度。在一個實施例中，機器學習應用程序的實施例可以包括神經網絡、支持向量機和/或聚類技術。程序指令可以用訓練數據集訓練機器學習應用程序并且在機器學習應用程序的優化中選擇一個或多個特征以產生選擇性特征向量。

一種用于計數人的系統可以包括接收深度數據的深度傳感器、與深度傳感器通信、存儲深度數據的存儲器。系統還可以包括與存儲器通信、執行程序指令的處理器。程序指令可以配置成從深度數據減去背景信息以辨別前景物體，應用機器學習應用程序以生成前景物體的分類確定，并且保持分類確定計數。處理器還可以配置成從照相機接收視頻數據并且在生成分類確定中使用來自照相機的視頻數據增加機器學習應用程序的精度。