[發明專利]基于深度學習的雷達輔助相機標定方法

在審

• 申請號: 202111117899.1
• 申請日: 2021-09-17
• 公開（公告）號: CN113808219A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 楊淑媛;翟蕾;高全偉;武星輝;楊莉;龔龍雨;李璐宇;柯希鵬;李奕彤;馬宏斌;王敏
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/246;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 程曉霞;王品華

1.一種基于深度學習的雷達輔助相機標定方法，其特征在于，通過雷達進行標定輔助，利用含有跨層連接的深度神經網絡模型獲得從雷達點跡到圖像目標框的相機攝像頭標定函數，用于多傳感器融合的目標跟蹤檢測任務，包括有如下步驟：

步驟1：數據采集形成雷達點跡數據和圖像目標框數據：將雷達與攝像頭組成的雷攝設備放置在需要進行目標檢測的場景中，利用該雷攝設備分別采集M個雷達點跡數據與N個圖像目標框數據其中雷達點跡數據D_R包含第j個雷達點跡的采集時間雷達點跡距離R^(j)和雷達點跡角度θ^(j)，j＝1,2,…,M；圖像目標框數據D_I包括第i個圖像的采集時間圖像目標框中心點坐標和圖像目標框寬高(h⁽ⁱ⁾,w⁽ⁱ⁾)，i＝1,2,…,N，其中為第i個圖像目標框中心點的橫軸坐標，為第i個圖像目標框中心點的縱軸坐標，h⁽ⁱ⁾為第i個圖像目標框的高度，w⁽ⁱ⁾為第i個圖像目標框的寬度；

步驟2：圖像目標框數據與雷達點跡數據的采集時間對齊：在圖像目標框數據中的第i個圖像目標框的采集時間下，i＝1,2,…,N，通過滿足時間約束的第j和第j+1個雷達點跡數據估計第i個雷達點跡數據，將雷達點跡數據和圖像目標框數據進行采集時間對齊，獲得N個時間對齊后的雷達點跡數據；

步驟3：利用修正后的雷達點跡數據形成訓練輸入數據集：通過修正時間對齊后的雷達點跡數據中與前后雷達點跡不連續的數據，得到修正后的雷達點跡數據，利用修正后的雷達點跡數據形成訓練輸入數據集其中R⁽ⁱ⁾為通過修正后的雷達點跡數據中第i個雷達點跡距離，θ⁽ⁱ⁾為通過修正后的雷達點跡數據中第i個雷達點跡角度，i＝1,2,…,N；

步驟4：利用目標框轉換后的圖像目標框數據形成訓練輸出數據集：將圖像目標框中心點坐標通過轉換為目標框底部中心坐標，通過轉換后的目標框坐標數據形成訓練輸出數據集

步驟5：構建深度神經網絡模型：將雷達點跡數據集構建的訓練輸入數據集作為深度神經網絡模型的輸入，輸入通過一個全連接層，接著通過K個連續的RC層，將最后一個RC層的輸出再通過一個全連接層獲得深度神經網絡模型的輸出，深度神經網絡模型的輸出為圖像目標框數據

步驟6：訓練深度神經網絡模型：將訓練輸入數據集與訓練輸出數據集按照神經網絡訓練的方法，給定深度神經網絡模型的優化策略及其學習率lr，通過epoch次迭代，獲得一個訓練好的深度神經網絡模型，其中lr根據輸入數據進行設定，epoch根據訓練需求進行設定；

步驟7：獲得相機標定函數：利用完成訓練的深度神經網絡模型，結合需要進行目標檢測場景與場景中的相機姿態獲得一個標定函數f:x→y，該標定函數f將輸入數據x轉換為輸出數據y，其中x為雷達點跡數據(R,θ)，y為圖像目標框數據(x,y,h,w)，并且應用此標定函數設置相機，應用于相機攝像頭與雷達數據關聯任務和多傳感器融合的目標跟蹤檢測任務。

2.根據權利要求1所述的基于深度學習的雷達輔助相機標定方法，其特征在于，步驟5中所述的構建深度神經網絡模型，包括有如下步驟：

5.1：構建深度神經網絡模型整體框架：深度神經網絡模型的輸入為通過雷達點跡構建的訓練輸入數據集將輸入數據集輸入一個輸入為2、輸出為p的全連接層中得到一個p維向量，接著將這一p維向量通過K個連續的RC層，將組后一個RC層的輸出再輸入到一個輸入為p、輸出為4的全連接層中，其中RC層的輸入維度p≥2，RC層數量K≥1，并且p和K整數，根據輸入的數據量進行改變；

5.2：構建深度神經網絡模型中RC層：深度神經網絡模型中RC層的輸入為一個p維向量，將這一p維向量輸入到一個輸入為p、輸出為q的全連接層中，獲得一個q維向量，接著利用Sigmoid激活函數對這一q維向量進行非線性變換，緊接著對非線性變換后的q維數據進行批標準化，再將批標準化后的q維數據輸入到輸入維q、輸出p的全連接層中，獲得一個p維向量，接著利用Sigmoid激活函數對該p維向量進行非線性變換，再對非線性變換后的p維向量進行批標準化，將經過批標準化的p維向量與RC層輸入的p維向量跨層連接，即這兩個向量相加即為RC層的輸出，其中RC層的寬度q≥4，q為整數，q的取值可以根據輸入的數據量進行改變。

3.根據權利要求1所述的基于深度學習的雷達輔助相機標定方法，其特征在于，步驟6中所述的訓練深度神經網絡模型，包括有如下步驟：

6.1：深度神經網絡模型的前向傳播：將通過雷達點跡構建的訓練輸入數據集作為深度神經網絡模型的輸入，通過步驟5中所述的神經網絡，獲得深度神經網絡模型的輸出其中為神經網絡模型輸出的圖像目標框底部中心橫軸坐標，為神經網絡模型輸出的圖像目標框底部中心縱軸坐標，為神經網絡模型輸出的圖像目標框高度，為神經網絡模型輸出的圖像目標框寬度，i＝1,2,…,N；

6.2：構建點到框的IOA損失函數：在深度神經網絡模型中，構建點到框的IOA損失函數IOA，在N個一一對應的深度神經網絡模型輸出和訓練輸出數據集構成的數據對中，第i個數據對的點到框的IOA損失函數IOA_i為1減去第i個深度神經網絡模型的輸出和第i個訓練輸出數據集的目標框交集與第i個訓練輸出數據集目標框面積h⁽ⁱ⁾×w⁽ⁱ⁾的比值，即具體地說，第i個深度神經網絡模型輸出與訓練輸出數據集目標框交集的寬為并且第i個深度神經網絡模型輸出與訓練輸出數據集目標框交集的高為獲得深度神經網絡模型輸出與訓練輸出數據集目標框交集的面積為area_i＝max(iw×ih,0)；第i個訓練輸出數據集的目標框面積為gt_area_i＝h⁽ⁱ⁾×w⁽ⁱ⁾，因而第i個深度神經網絡模型輸出與練輸出數據集構成的數據對的點到框的IOA損失函數為:接下來將N個數據對得到的IOA損失函數相加，即得到點到框的IOA損失函數

6.3：構建點到框的深度神經網絡模型總損失函數：點到框的深度神經網絡模型總損失函數描述如下：L＝λ₀L₀+λ₁L₁+λ₂L₂+λ₃L₃+λ₄L₄+λ₅L₅+λ₆L₆，其中，λ＝[λ₀,λ₁,λ₂,λ₃,λ₄,λ₅,λ₆]是損失權重參數，其中，λ＝[λ₀,λ₁,λ₂,λ₃,λ₄,λ₅,λ₆]是損失權重參數，0≤λ_l≤1,l＝0,1,2,…,6，可以根據任務需求進行改變，L₀為點到框的IOA損失函數即:L₁為圖像目標框底部中心坐標的均方誤差損失函數即:L₂為圖像目標框寬高的均方誤差損失函數即:L₃為圖像目標框底部中心坐標的雙曲余弦的對數損失函數即:L₄為圖像目標框面積的比例損失函數即:L₅為圖像目標框高度的比例損失函數即L₆為圖像目標框寬度的比例損失函數即

6.4：深度神經網絡模型的反向傳播：利用6.3中的點到框的深度神經網絡模型總損失函數，通過神經網絡的反向傳播算法，計算深度神經網絡中權重的梯度，利用神經網絡更新策略更新神經網絡的參數，通過epoch次迭代，獲得一個訓練好的深度神經網絡模型。