[發明專利]基于多個立體相機的對象檢測跟蹤方法及裝置

在審

• 申請號: 201310204480.9
• 申請日: 2013-05-28
• 公開（公告）號: CN104182747A
• 公開（公告）日: 2014-12-03
• 發明（設計）人: 范圣印;王鑫;王千;喬剛
• 申請（專利權）人: 株式會社理光
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張麗新

技術領域

本發明總體地涉及圖像處理，更具體地涉及基于立體視覺的對象檢測跟蹤方法及裝置。

背景技術

已經存在一些利用立體攝像機采集的圖像來檢測對象的技術，例如，標題為“METHOD?AND?SYSTEM?TO?SEGMENT?DEPTH?IMAGES?AND?TO?DETECT?SHAPES?IN?THREE-DIMENSIONALLY?ACQUIRED?DATA”的專利文獻US8009871B，標題為“SURFACE?GENERATION?METHOD?FROM?BOUNDARIES?OF?STEREO?IMAGES”的專利文獻US5202928A，Michael?Harville在2003年發表的文章Stereo?Person?Tracking?with?Adaptive?Plan-View?Templates?of?Height?and?Occupancy?Statistics等。

以人的定位或檢測為例，人的定位是以人為中心的技術的基礎，只有人被準確的定位后方能提供和推送主動的服務。人定位是指檢測到人進而得到人在室內或者室外的位置信息，也就是得到人在世界坐標系中的坐標值(x,?y,z)的過程。

基于立體視覺的人的定位技術的核心是深度圖/視差圖序列中的人的檢測和跟蹤技術。目前，基于立體視覺的人的定位技術，當其用于真實的場景時，依然有些問題和挑戰。首先，當物體離立體相機/雙目相機的距離較遠時，測量得到的距離的精度呈現下降的趨勢，這對基于立體視覺的對象的檢測、跟蹤和定位帶來了極大的負面影響。另外，遮擋也會導致對象檢測、跟蹤和定位的不準確，甚至失效。為此，在實際應用中，特別是涉及到較大的范圍的實際應用中，往往需要部署多臺立體相機/雙目相機。

發明內容

如何利用多個立體相機的深度/視差信息來更有效的檢測對象、跟蹤對象和更精確地定位對象，就是非常亟待解決的實際問題。可以通過使用融合技術來進行解決。融合，按照其融合對象的不同大致可以分為三類：原始數據集的融合；特征集的融合；再有就是結果集的融合。

對于多個立體相機諸如雙目相機的場景而言，原始數據集的融合，即像素集的融合，網絡傳輸數據量大和處理的數據量大，很難在實際場景中進行實時應用。

專利US7929017B2提出了一種方法和裝置用于立體相機、多相機以及RF和視頻的融合。該方法融合單目相機、立體相機的跟蹤結果，以及RFID、定位系統和生物識別系統的結果。該融合技術通過對不同傳感器信息的噪聲和模糊進行嚴格地不確定性分析后，進行傳感器信息的轉換。其基于時空約束來融合不同傳感器的位置和速度信息。

該專利提出的技術使用了貝葉斯方法來融合各類結果，融合目標是跟蹤的結果和位置信息。為了增加穩定性，其考慮了時空的約束。本質上講，該方法明確地將不同的結果根據其來源的傳感器進行區分，然后建立不同的傳感器的各個結果之間的映射關系。如果，不同的傳感器的某些結果通過距離計算判定為同一個結果，就融合它們，否則這些不同傳感器的結果均作為不同的最終結果。

專利US7742620B2提出了一種通過時域和空域融合來提升檢測結果的方法。該方法融合目標是各個不同傳感器的處理結果，其將空域和時域的融合結合到一起，同時采用了特殊的閾值處理。該方法也是在結果集上的融合。其也明確區分不同傳感器的處理結果，通過建立映射關系及其距離計算來進行結果的融合。

上述兩篇文獻中介紹的技術均明確區分不同傳感器的處理結果，通過建立映射關系及其距離計算來進行結果的融合。下文中為描述方便，將這類技術統稱為區分來源式結果融合技術。

本發明人經實驗和分析認為，上述區分來源式結果融合技術的基本處理是根據結果的來源顯式地區分結果，然后建立這些不同來源的結果的關聯度矩陣，再通過優化的方法找到匹配，匹配的不同源的各個結果融合為一個最終的人。一般而言，構建關聯度矩陣目的在于求解匹配，導致處理的復雜性過高，求解也比較困難。

鑒于現有技術的上述問題，本發明希望提供一種能夠降低基于多個立體相機的對象檢測結果融合的復雜性、提高處理效率的技術。