[發(fā)明專利]一種基于多模態(tài)傳感器數(shù)據(jù)自動獲取車輛訓(xùn)練樣本方法

有效

• 申請?zhí)枺?/td>: 201210234127.0
• 申請日: 2012-07-06
• 公開（公告）號: CN102737236A
• 公開（公告）日: 2012-10-17
• 發(fā)明（設(shè)計）人: 王超;趙卉菁
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 毛燕生

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺、機器人以及機器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)傳感器數(shù)據(jù)自動獲取車輛訓(xùn)練樣本方法。

背景技術(shù)

車輛檢測是汽車安全輔助駕駛（ADAS）領(lǐng)域的一個重要問題。在車輛檢測領(lǐng)域已經(jīng)有了大量的相關(guān)研究，研究證明，使用激光、雷達、單目/立體相機以及多傳感器融合均能對車輛進行檢測。

由于單目相機成本低，而且標定問題簡單，基于單目視覺的檢測方法在計算機視覺以及機器人領(lǐng)域有廣泛的研究。使用視覺傳感器時，車輛的本身表觀以及車輛在不同角度的表觀有很大不同，給檢測帶來很大的困難。近期越來越多的研究人員嘗試使用機器學(xué)習(xí)的方法檢測車輛。

這些方法中，檢測器是預(yù)先使用一系列的樣本圖片訓(xùn)練出來的。有很多的數(shù)據(jù)集開放用于訓(xùn)練檢測器。PASCAL提供了很多標準化的數(shù)據(jù)集用于物體檢測。

其中UIUC數(shù)據(jù)集是專門用于車輛檢測識別的數(shù)據(jù)集，包括550張分辨率為100×40的車輛圖片作為訓(xùn)練正樣本，而且包含兩個測試集：170張和訓(xùn)練正樣本相同分辨率的均一尺度的車輛，和108張包含139輛多尺度車輛的圖片。

很多研究中都使用此數(shù)據(jù)集來說明研究結(jié)果。然而，UIUC數(shù)據(jù)集中的車輛全部為側(cè)面視角的圖像，在道路車輛檢測中，所檢測的車輛多數(shù)為前面或者后面的視角，所以此數(shù)據(jù)集并不適用。

另外一個缺點是UIUC數(shù)據(jù)集中圖片均為黑白圖片，使用此數(shù)據(jù)集對檢測器的特征空間有很大限制。與UIUC數(shù)據(jù)集不同，MIT的數(shù)據(jù)集包括516張正樣本圖片，分辨率為128×128，全部為前方或者后方的視角。

對現(xiàn)在表現(xiàn)良好的方法，訓(xùn)練樣本是影響其表現(xiàn)的重要因素。為了研究建立多視角的車輛檢測器，USC的研究人員建立了多視角的車輛樣本圖像以及測試圖像的數(shù)據(jù)集。數(shù)據(jù)集包括1028張分辨率為128×64的來自各個角度的車輛正樣本圖像，并且有196張測試圖像工包含410個不同尺度不同角度的車輛。

然而，此數(shù)據(jù)集中所有的樣本均不包含車輛的位姿信息，通常訓(xùn)練數(shù)據(jù)根據(jù)訓(xùn)練需求需要手工進行標注分類，這對樣本的數(shù)量、表現(xiàn)都有很大限制。這成為限制算法發(fā)展的一個瓶頸。檢測器的表現(xiàn)，對環(huán)境的變化通常缺乏穩(wěn)定性。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于多模態(tài)傳感器數(shù)據(jù)自動獲取車輛訓(xùn)練樣本方法，涉及一個自動生成多角度車輛樣本圖像并且包含位姿信息的方法。

本發(fā)明公開了一種基于多模態(tài)傳感器數(shù)據(jù)自動獲取車輛訓(xùn)練樣本方法，包括以下步驟：

基于激光、定位數(shù)據(jù)的車輛檢測步驟：根據(jù)激光數(shù)據(jù)的距離、角度和激光傳感器標定參數(shù)，得到相對于數(shù)據(jù)采集車輛的二維坐標，以描述物體水平的輪廓信息；通過形狀的分析，以及移動物體的檢測追蹤，提取出候選車輛相對于數(shù)據(jù)采集車輛的位置方向等參數(shù)的時序列；

視覺圖像樣本提取步驟：根據(jù)候選車輛在每一時刻的位置方向，根據(jù)激光傳感器和圖像采集設(shè)備之間的幾何關(guān)系，將該候選車輛投射到圖像中，產(chǎn)生感興趣區(qū)域，并使用檢測器來修正感興趣區(qū)域，對每一輛候選車輛，根據(jù)其位置方向等參數(shù)計算該候選車輛相對于攝像機的相對視角，去除視角相近的圖像幀樣本，自動地提取該候選車輛在不同視角下的樣本圖片。

進一步，作為一種優(yōu)選，所述基于激光、定位數(shù)據(jù)的車輛檢測步驟進一步包括：

數(shù)據(jù)融合：將來自于各個激光傳感器的相同或者臨近時間的數(shù)據(jù)融合；

聚類：將來自于各個激光傳感器的數(shù)據(jù)，根據(jù)相鄰兩點間的距離，進行聚類；

標注：將聚類區(qū)分為靜止物體、移動物體或者不確定三種類型；

地圖生成：生成描述數(shù)據(jù)采集車輛移動軌跡周圍靜態(tài)環(huán)境的地圖；

檢測：在當(dāng)前的進行分類后的激光融合數(shù)據(jù)中找到候選車輛；

追蹤：關(guān)聯(lián)檢測結(jié)果和之前的追蹤結(jié)果，更新追蹤狀態(tài)和車體、運動參數(shù)；

驗證：通過追蹤物體的運動和形狀信息來對其進行驗證。

進一步，作為一種優(yōu)選，所述視覺圖像樣本提取步驟進一步包括：

基于激光數(shù)據(jù)的感興趣區(qū)域提?。焊鶕?jù)候選車輛在每一時刻的位置方向，根據(jù)激光傳感器和圖像采集設(shè)備之間的幾何關(guān)系，將該候選車輛投射到圖像中，提取包含候選車輛的感興趣區(qū)域；

基于圖像技術(shù)的感興趣區(qū)域修正：使用基于圖像的檢測方法，對感興趣區(qū)域進行修正，找到其中的候選車輛；

車輛樣本圖像提取和去重：根據(jù)修正結(jié)果，去除視角相近的圖像幀樣本，自動地提取候選車輛在不同視角下的樣本圖片。