[發明專利]一種基于輪廓約束的車輛空間形態識別方法及系統

有效

• 申請號: 202010199138.4
• 申請日: 2020-03-20
• 公開（公告）號: CN111476798B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 王偉;唐心瑤;宋煥生;張朝陽;梁浩翔;張文濤;戴喆;云旭;侯景嚴;劉蒞辰;賈金明;李俊彥;武非凡;雷琪;楊露;余宵雨;靳靜璽;王瀅暄;趙鋒;穆勃辰;李聰亮
• 申請（專利權）人: 上海遨遙人工智能科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/64;G06T7/80;G06T17/00;G06V20/58;G06V10/44;G06V20/64;G06V10/82;G06N3/006;G06N3/0464;G06N3/08
• 代理公司: 安徽盟友知識產權代理事務所(特殊普通合伙) 34213
• 代理人: 鄧立忠

本發明公開了一種基于輪廓約束的車輛空間形態識別方法及系統，在連續的圖像序列中，使用深度學習Mask?RCNN的方法識別車輛目標，獲取車輛目標在圖像坐標系下的二維包絡框和分割圖像信息；對車輛的分割圖像求取輪廓，獲取每個車輛目標的輪廓點集合，對輪廓點集合求取輪廓重心點；然后根據二維包絡框模型的坐標信息，結合相機標定的結果和地平線信息，求取每個車輛目標在三維包絡框模型下的凸包，構建針對特定車輛目標的輪廓約束，從而求解出車輛目標的空間形態信息。本發明可適應不同的道路交通場景，利用攝像機提取場景中大量車輛目標完成空間形態識別的過程。本發明能應用于各種道路場景下的車輛空間形態識別，結果準確，實現簡單，通用性好。

技術領域

本發明屬于智能交通技術領域，具體涉及一種基于輪廓約束的車輛空間形態識別方法及系統。

背景技術

車輛空間形態識別在自動駕駛領域具有廣泛的應用，通過對周圍環境的感知，實時獲取車輛的位姿狀態信息(包括車輛三維尺寸、空間位置和運動方向等)，分析車輛行駛的安全狀態，為車輛的路徑規劃和避障提供依據，使得自動駕駛車輛做出有效的決策，保證車輛安全到達目的地。

常用的車輛位姿估計方法主要是依靠傳感器融合的方法，如：激光傳感器、GPS、慣性導航系統等，這些設備雖然能夠取得較高的精度，但是成本高昂，不利于大范圍部署。目前，視覺里程計作為成本低廉的自定位技術，被廣泛用于車輛的位姿估計，視覺圖像能夠存儲大量有意義的信息，常用的傳感器有單目相機、雙目相機和RGB-D相機，單目相機雖然無法直接獲取圖像的深度信息，但是其成本低、易于部署的優點，交通監控系統廣泛采用該類攝像頭，在室外場景的應用效果較好。

發明內容

針對現有技術中的缺陷和不足，本發明提供了一種基于輪廓約束的車輛空間形態識別方法及系統，克服現有車輛空間形態識別方法成本高以及無法進一步識別車輛三維信息等缺陷。

為達到上述目的，本發明采取如下的技術方案：

一種基于輪廓約束的車輛空間形態識別方法，該方法利用深度學習的方法對車輛目標進行檢測與分割，同時利用相機標定的結果和地平線信息，對車輛目標構建輪廓約束求解出其空間形態信息；具體包括如下步驟：

步驟1，輸入交通視頻，得到每一幀的視頻圖像，形成圖像序列；

步驟2，從步驟1得到的視頻圖像提取消失點，建立攝像機模型和坐標系、車輛目標在圖像坐標系下的二維包絡框模型以及三維包絡框模型，并結合消失點進行相機標定，得到相機標定參數和地平線信息；

步驟3，使用深度學習Mask?RCNN的方法對視頻圖像中的車輛目標進行檢測與分割，檢測結果包括車輛目標在二維包絡框模型下的二維坐標信息以及車輛目標的車輛類別，分割結果包括目標區域mask圖像；

步驟4，車輛目標輪廓約束的構建求解：

步驟4.1，根據步驟3中的分割結果，對分割圖像求取輪廓，獲取每個車輛目標的輪廓點集合；根據車輛目標輪廓點集合求取輪廓重心點的圖像坐標，記為P_c＝(u_c，v_c)；

步驟4.2，根據步驟2中的相機標定參數和地平線信息與步驟3中的檢測結果，計算車輛目標在三維包絡框模型下的凸包，再結合步驟4.1得到的輪廓重心點構建車輛目標的輪廓約束并求解；

步驟5，將步驟4.2輪廓約束求解結果進行輸出，得到車輛空間形態識別結果。

本發明還包括如下技術特征：

具體的，所述步驟4.2中構建車輛目標的輪廓約束并求解包括如下過程：