[發明專利]一種基于模型擬合算法的車輛三維檢測方法

在審

• 申請號: 201810314019.1
• 申請日: 2018-04-10
• 公開（公告）號: CN108709513A
• 公開（公告）日: 2018-10-26
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G01B11/24
• 分類號: G01B11/24;G06F17/50;G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于模型擬合算法的車輛三維檢測方法，其特征在于，主要包括車輛維度估計(一)；車輛模型擬合(二)；兩階段精煉卷積神經網絡(CNN)(三)。

2.基于權利要求書1所述的車輛三維檢測方法，其特征在于，輸入一個圖像，首先為候選車輛生成二維邊界框；其次，這些邊界框用于選擇點云的子集，使用相機和激光探測與測量(LiDAR)之間的轉換；由于相機的透視特性，三維點子集可能擴展到比車輛本身大得多的區域；該子集還包含相當數量的非車輛點和相鄰車輛上的點。

3.基于權利要求書1所述的車輛維度估計(一)，其特征在于，給定的二維檢測網絡的末端需要一個額外的回歸層，首先獲得數據集中所有汽車和貨車的平均尺寸；令表示車輛的高度、長度和寬度；標定好的回歸向量定義為：

維度回歸損失顯示為：

其中，λ_d是平衡原始網絡中定義的損失的權重因子，例如分類損失和二維回歸損失；如果二維框是汽車，則C_i是1，否則是0；R是平滑L₁損失函數，Δ_i是網絡的回歸向量；

為了訓練修改后的網絡，可以重新使用來自原始網絡的預先訓練的權重進行初始化；只有一小部分網絡需要重新訓練，而其余部分可以在訓練期間保持固定。

4.基于權利要求書1所述的車輛模型擬合(二)，其特征在于，首先生成一組三維框建議，對于每個建議，將三維框內的點與三種廣義汽車模型進行比較，兩階段CNN精煉卷積神經網絡選擇分數最高的建議；

根據隨機抽樣一致(RANSAC)算法的原理生成三維框建議；在每次迭代中，隨機選擇一個點；第二個點是從立方體內的點開始隨機選取的，該點位于第一個點的中心，邊長為1.5l，其中l是二維CNN估計的車長，1.5表示補償估計誤差；垂直平面來自于這兩點；與平面的距離小于閾值的點都被視為平面的內點；然后從內部隨機選擇最多20個點；在每個點處導出穿過該點并垂直于第一垂直平面的第二垂直平面。

5.基于權利要求書4所述的垂直平面，其特征在于，沿著這兩個垂直平面之間的相交線，可以基于估計的車寬和長度，生成八個三維框；由于第一個垂直平面是可見的，根據視圖方向，刪除四個框；在每個剩余的框的位置，通過沿著w和l方向將邊界框展開1.5倍，定義新的范圍；找到新范圍內的最低點，并根據高度估算確定三維框的頂部，同時確定三維框的底部；總之，在每次迭代中可以生成最多80個三維框建議。

6.基于權利要求書4所述的三種廣義汽車模型，其特征在于，這三種廣義的汽車模型用于模型擬合，它們代表三類汽車：SUV、Sedan和Vans；其中兩廂車被認為是SUV；這種不變性表明，如果相同類別的汽車被歸一化為相同的尺寸[h,l,w]，它們的形狀和輪廓將是相似的；使用三維計算機輔助設計(CAD)數據集中對汽車進行歸一化來推廣汽車模型；每個圖都是從三維CAD模型生成的點的聚合，對齊到相同的方向并標準化為相同的尺寸；SUV/兩廂車圖由58個CAD模型中的點組成，轎車圖由65個點組成，車廂圖由10個模型中的點組成；然后將每個聚合沿著[h,l,w]方向體素化為8×18×10矩陣；矩陣中的每個元素根據其位置分配不同的分數；表示汽車外殼/表面的元素被賦予1分，表明模型擬合過程中的三維點如果落在汽車表面上，則將被計入總分；汽車外殼內部或外部的元素被賦予負值，并且離車殼越遠(向內或向外)，分配的值越小；矩陣底層的元素被賦予0分；在底層檢測到的點可能是地面或汽車的輪胎，這些輪胎很難相互區分，則不會受到處罰，也不會得分；

三維框建議中的點將體素化為8×18×10個網格，并與三種潛在車輛模型進行比較；由于定位不明確，網格圍繞其垂直中心軸旋轉180度，然后與三個模型進行比較；在所有邊界框建議中，選擇分數最高的建議用于下一步。