[發明專利]一種基于深度神經網絡的三維目標檢測方法及系統

在審

• 申請號: 202011123745.9
• 申請日: 2020-10-20
• 公開（公告）號: CN112258631A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 沈金榮;趙鳴暉;彭娟
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/90;G06T7/70;G06N3/08;G06N3/04
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了三維目標檢測技術領域的一種基于深度神經網絡的三維目標檢測方法及系統，具有目標檢測準確，神經網絡層數少，計算量小，對硬件要求低，通用性和實時性強等特點。包括：獲取目標物體所處環境的彩色圖像和點云信息；采用深度神經網絡YOLO6D與YOLOv2對彩色圖像進行聯合檢測，分別獲取目標物體在彩色圖像上的2D邊界框與3D邊界框；將點云信息映射到彩色圖像的圖像坐標系下，獲取點云信息在彩色圖像中的坐標信息；根據目標物體在圖像上的2D邊界框與3D邊界框，結合點云信息在彩色圖像中的坐標信息，分別獲取2D邊界框與3D邊界框的深度信息；根據2D邊界框與3D邊界框的深度信息，結合點云信息的維度，獲取目標物體的類別、大小和位姿信息。

技術領域

本發明屬于三維目標檢測技術領域，具體涉及一種基于深度神經網絡的三維目標檢測方法及系統。

背景技術

隨著深度學習理論的發展，已被廣泛應用于目標識別、人臉識別、運動目標檢測與風格遷移等各個領域中，然而，隨著網絡的不斷加深，神經網絡功能越來越強大，但其對硬件的要求也越來越高，尤其是三維目標檢測領域。復雜的深度神經網絡會大大增加所需成本，而且很多場合還需要滿足實時性要求，這是三維目標檢測應用中的一大難題。

發明內容

為解決現有技術中的不足，本發明提供一種基于深度神經網絡的三維目標檢測方法及系統，具有目標檢測準確，神經網絡層數少，計算量小，對硬件要求低，通用性和實時性強等特點。

為達到上述目的，本發明所采用的技術方案是：一種基于深度神經網絡的三維目標檢測方法，包括：a、獲取目標物體所處環境的彩色圖像和點云信息；b、采用深度神經網絡YOLO6D與YOLOv2對彩色圖像進行聯合檢測，框選目標物體，分別獲取目標物體在彩色圖像上的2D邊界框與3D邊界框；c、將點云信息映射到彩色圖像的圖像坐標系下，獲取點云信息在彩色圖像中的坐標信息；d、根據目標物體在彩色圖像上的2D邊界框與3D邊界框，結合點云信息在彩色圖像中的坐標信息，分別獲取2D邊界框與3D邊界框的深度信息；e、根據2D邊界框與3D邊界框的深度信息，結合點云信息的維度，獲取目標物體的類別、大小和位姿信息。

進一步地，在所述步驟a中，通過RGB彩色相機獲取目標物體所處環境的彩色圖像，通過深度相機或激光雷達獲取目標物體的點云信息。

進一步地，在所述步驟c中，通過將深度相機或激光雷達與RGB彩色相機進行標定，從而將點云信息映射到彩色圖像的圖像坐標系下。

進一步地，在所述步驟b中，深度神經網絡YOLOv2的輸出維度為：

S₁×S₁×(N₁×(4+1+C₁)) (1)

其中，S₁是劃分的單元格數量，N₁為瞄框數量，4為彩色圖像中心點坐標與邊界框長寬的參數數量，1為深度神經網絡YOLOv2的置信度的參數數量，C₁為深度神經網絡YOLOv2中各個類別的概率的參數數量；

深度神經網絡YOLO6D采用YOLOv2的框架結構，其輸出維度為：

S₂×S₂×(9×2+1+C₂) (2)

其中，S₂是劃分的單元格數量，9代表的是3D邊界框的8個頂點與1個中心點的參數數量，1為深度神經網絡YOLO6D的置信度的參數數量，C₂為深度神經網絡YOLO6D中各個類別的概率的參數數量。