[發明專利]一種面向毫米波雷達與視頻圖像的數據融合方法及系統

有效

• 申請號: 202110270383.4
• 申請日: 2021-03-12
• 公開（公告）號: CN113239948B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 徐杰;梁晨晨;劉天弼;馮瑞
• 申請（專利權）人: 復旦大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/80;G06V20/58;G01S13/86;G01S13/89;G06T5/50;G06T7/13;G06T7/33;G06T7/62;G06T7/73
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

本發明提供一種面向毫米波雷達與視頻圖像的數據融合方法及系統，其方法包括以下步驟：步驟S1，建立含有黑色幕布以及在該黑色幕布前根據預定距離等距平行設置有等長的n個白色木棍的檢測場景；步驟S2，通過毫米波雷達對檢測場景進行檢測，得到n個白色木棍在雷達坐標系中x軸與y軸上的坐標值；步驟S3，通過攝像頭對檢測場景進行拍攝得到木棍圖像；步驟S4，對木棍圖像進行數字圖像處理得到n個白色木棍在木棍圖像中的坐標值作為該白色木棍在圖像坐標系中y軸與z軸上的坐標值；步驟S5，根據預定距離、白色木棍在雷達坐標系中以及在圖像坐標系中的坐標值，將雷達坐標系以及圖像坐標系基于y軸進行映射從而完成雷達坐標系以及圖像坐標系的融合。

技術領域

本發明屬于數字圖像處理及多傳感器數據融合領域，涉及一種毫米波雷達和圖像數據融合的配準方法設計，具體涉及一種基于木棍檢測的面向毫米波雷達與視頻圖像的數據融合方法及系統。

背景技術

近年來，隨著自動駕駛技術的發展，多傳感器檢測技術慢慢走入人們的視野，通過多傳感器對路況進行檢測，可以在主動安全方面發揮重要作用。例如毫米波雷達以及車載攝像頭，其中毫米波雷達受環境影響的因素較少，可以測量出前方范圍內目標的徑向距離和速度；攝像頭可以基于傳統機器學習或深度學習的目標檢測，檢測出前方目標的位置，為自動駕駛車輛的動作決策提供重要參考。如何將這些多傳感器之間的數據進行融合，從而更好地為自動駕駛技術提供幫助，也是目前車輛主動安全的熱門研究方向。

傳統的毫米波雷達和圖像識別數據融合方法包括時間融合和空間融合。在空間融合上，大多采用坐標系轉換的方法，即，將世界坐標系、雷達坐標系、攝像頭坐標系進行坐標轉換，圖1示出了各個坐標系在自動駕駛車輛上的分布，具體為：雷達坐標系XrOrYr，圖像坐標系XcOcYc以及世界坐標系XwOwYw。這種坐標系轉換方法可以使得攝像頭坐標系、雷達坐標系中測定的物體具體位置在世界坐標系中進行對應，從而得到實際世界物體在圖像畫面中的位置，進而完成后續的目標配準和目標識別等操作。

然而，在進行圖像坐標系的對應時，對于理想的針孔模型不能十分準確地描述攝像頭真實的成像幾何關系，尤其在攝像頭使用廣角鏡頭時，實際成像在遠離圖像中心處會出現較大的畸變。即，通過真實鏡頭在成像平面上實際成的像和通過針孔模型在成像平面上理想成的像不同，距離投影中心越遠，畸變越嚴重。

傳統的方法是采用張正友標定法等標定方法，從數學理論的角度進行配準，在圖像數據源頭就進行校正。

但是，即使通過上述方法在理論層面完成了標定，在實際運用中，特別是與雷達的配合中測距，仍存在一定的誤差。且上述方法的步驟繁多，需要很多個階段的配準，導致每個階段的誤差積累放大，最終的融合效果在準確度上依然不盡如人意。

發明內容

為解決上述問題，提供一種雷達和圖像各自最終識別結果為基準的、具有高準確率的面向毫米波雷達與視頻圖像的數據融合方法及系統，本發明采用了如下技術方案：

本發明提供了一種面向毫米波雷達與視頻圖像的數據融合方法，用于對毫米波雷達以及攝像頭的坐標數據進行融合，其特征在于，包括以下步驟：步驟S1，建立含有黑色幕布以及在該黑色幕布前根據預定距離等距平行設置有等長的n個白色木棍的檢測場景，白色木棍垂直于水平面；步驟S2，通過毫米波雷達對檢測場景進行檢測，得到n個白色木棍在對應于水平面的雷達坐標系中x軸與y軸上的坐標值Xrn以及Yrn；步驟S3，通過攝像頭對檢測場景進行拍攝得到木棍圖像；步驟S4，對木棍圖像進行數字圖像處理得到n個白色木棍的木棍中心點在木棍圖像中的坐標值作為該白色木棍在對應于豎平面的圖像坐標系中y軸與z軸上的坐標值Ycn以及Zcn；步驟S5，根據預定距離、白色木棍在雷達坐標系中的坐標以及在圖像坐標系中的坐標值，將雷達坐標系以及圖像坐標系基于y軸進行映射從而完成雷達坐標系以及圖像坐標系的融合。