[發明專利]車輛三維信息檢測方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202011239442.3
• 申請日: 2020-11-09
• 公開（公告）號: CN112036389B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 彭欣亮;王曦;程士慶;徐振南;劉孟紳
• 申請（專利權）人: 天津天瞳威勢電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 姚璐華

本發明提供了一種車輛三維信息檢測方法、裝置、設備及可讀存儲介質，方法包括：將單目相機采集的實際場景圖像作為預先訓練好的深度學習模型的輸入，得到深度學習模型的輸出信息，輸出信息包括分別表示四個車輛側棱是否可見的四個二分類值和四個車輛側棱與路面交點的圖像坐標；根據四個二分類值確定車輛朝向；在確定的車輛朝向為復合朝向時，根據可見車輛側棱與路面交點的圖像坐標、車輛的實際長度和寬度以及單目相機的內參矩陣和外參矩陣，計算得到車輛航向角。相比于標注車輛航向角，降低了訓練圖像的標注難度，以及基于單目相機的單幀圖像檢測出了車輛的三維信息，進而降低了成本和提高了檢測穩定性。

技術領域

本發明涉及自動駕駛技術領域，更具體地說，涉及車輛三維信息檢測方法、裝置、設備及可讀存儲介質。

背景技術

對于自動駕駛車輛來說，理解周圍交通環境至關重要。自動駕駛車輛在行駛過程中，不僅需要檢測出周圍車輛，還需要檢測出車輛的位置和朝向等三維信息。目前，對于車輛的三維信息檢測，有采用雙目相機或深度相機進行檢測，但是成本較高；還有采用由激光雷達的標注數據，訓練車輛三維信息檢測模型，再在實際場景中使用訓練好的模型根據激光雷達的掃描數據，檢測周圍車輛的三維信息，但是激光雷達存在穩定性較低的問題。

發明內容

有鑒于此，本發明提出車輛三維信息檢測方法、裝置、設備及可讀存儲介質，欲基于單目相機的單幀圖像檢測出車輛的三維信息，進而實現降低成本和提高檢測穩定性的目的。

為了實現上述目的，現提出的方案如下：

第一方面，提供了一種車輛三維信息檢測方法，包括：

獲取單目相機采集的實際場景圖像；

將所述實際場景圖像作為預先訓練好的深度學習模型的輸入數據，得到所述深度學習模型的輸出信息，所述輸出信息包括分別表示四個車輛側棱是否可見的四個二分類值和四個車輛側棱與路面交點的圖像坐標；

根據所述四個二分類值確定車輛朝向；

在所述確定的車輛朝向為復合朝向時，根據可見車輛側棱與路面交點的圖像坐標、車輛的實際長度和寬度以及單目相機的內參矩陣和外參矩陣，計算得到車輛航向角。

可選的，所述深度學習模型的訓練過程，包括：

根據訓練圖像中用戶標注的車輛朝向，生成分別表示四條車輛側棱是否可見的四個二分類值；

確定不可見車輛側棱與路面的交點的圖像坐標均為零；

根據訓練圖像上標注的矩形框和側邊，得到可見車輛側棱與路面交點的圖像坐標，所述矩形框的邊與所述訓練圖像的邊平行，所述側邊與側面的兩個車輪相切于兩個車輪的接地點；

將所述訓練圖像和對應的所述四個二分類值以及四個車輛側棱與路面的交點的圖像坐標作為一個訓練樣本，對深度學習模型進行訓練。

可選的，所述根據訓練圖像上標注的矩形框和側邊，得到可見車輛側棱與路面交點的圖像坐標，具體包括：

計算得到所述矩形框的兩個豎直線在圖像坐標系的直線方程；

根據所述側邊的兩端點的圖像坐標確定所述側邊的直線方程；

在可見車輛側棱為兩個時，確定兩個可見車輛側棱與路面的交點的圖像坐標，分別為所述矩形框的左豎線與所述側邊的交點的圖像坐標和所述矩形框的右豎線與所述側邊的交點的圖像坐標；

在可見車輛側棱為三個時，確定與所述側邊處于相同面的兩個可見車輛側棱與路面的交點的圖像坐標，分別為與所述側邊處于相同面的兩個可見車輛側棱與所述側邊的交點的圖像坐標，以及根據用戶標注的所述訓練圖像中車輛的朝向，確定與所述側邊不處于相同面的可見車輛側棱與路面的交點的圖像坐標，為所述矩形框的左下頂點的圖像坐標和所述矩形框的右下頂點的圖像坐標中的一個。