[發明專利]一種基于深度神經網絡的三維目標檢測方法及系統

在審

• 申請號: 202011123745.9
• 申請日: 2020-10-20
• 公開（公告）號: CN112258631A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 沈金榮;趙鳴暉;彭娟
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/90;G06T7/70;G06N3/08;G06N3/04
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種基于深度神經網絡的三維目標檢測方法，其特征是，包括：

a、獲取目標物體所處環境的彩色圖像和點云信息；

b、采用深度神經網絡YOLO6D與YOLOv2對彩色圖像進行聯合檢測，框選目標物體，分別獲取目標物體在彩色圖像上的2D邊界框與3D邊界框；

c、將點云信息映射到彩色圖像的圖像坐標系下，獲取點云信息在彩色圖像中的坐標信息；

d、根據目標物體在彩色圖像上的2D邊界框與3D邊界框，結合點云信息在彩色圖像中的坐標信息，分別獲取2D邊界框與3D邊界框的深度信息；

e、根據2D邊界框與3D邊界框的深度信息，結合點云信息的維度，獲取目標物體的類別、大小和位姿信息。

2.根據權利要求1所述的基于深度神經網絡的三維目標檢測方法，其特征是，在所述步驟a中，通過RGB彩色相機獲取目標物體所處環境的彩色圖像，通過深度相機或激光雷達獲取目標物體的點云信息。

3.根據權利要求2所述的基于深度神經網絡的三維目標檢測方法，其特征是，在所述步驟c中，通過將深度相機或激光雷達與RGB彩色相機進行標定，從而將點云信息映射到彩色圖像的圖像坐標系下。

4.根據權利要求1所述的基于深度神經網絡的三維目標檢測方法，其特征是，在所述步驟b中，深度神經網絡YOLOv2的輸出維度為：

S₁×S₁×(N₁×(4+1+C₁)) (1)

其中，S₁是劃分的單元格數量，N₁為瞄框數量，4為彩色圖像中心點坐標與邊界框長寬的參數數量，1為深度神經網絡YOLOv2的置信度的參數數量，C₁為深度神經網絡YOLOv2中各個類別的概率的參數數量；

深度神經網絡YOLO6D采用YOLOv2的框架結構，其輸出維度為：

S₂×S₂×(9×2+1+C₂) (2)

其中，S₂是劃分的單元格數量，9代表的是3D邊界框的8個頂點與1個中心點的參數數量，1為深度神經網絡YOLO6D的置信度的參數數量，C₂為深度神經網絡YOLO6D中各個類別的概率的參數數量。

5.根據權利要求1所述的基于深度神經網絡的三維目標檢測方法，其特征是，在所述步驟d中，將點云信息在彩色圖像中的坐標信息與深度神經網絡YOLO6D輸出的3D邊界框進行比較，若點云信息在彩色圖像中的坐標信息在3D邊界框的內部，則說明該點云屬于目標物體，從而直接提取彩色圖像中框選目標物體的3D邊界框的深度信息；將點云信息在彩色圖像中的坐標信息與2D邊界框的各個頂點及中心比對，將包含在2D邊界框的深度信息平均求和，獲取各個頂點及中心的深度信息，即為2D邊界框的深度信息。

6.根據權利要求1所述的基于深度神經網絡的三維目標檢測方法，其特征是，在所述步驟e中，若點云信息為三維，利用3D邊界框的深度信息，直接根據3D邊界框分割三維點云信息；若點云信息為二維，利用2D邊界框的深度信息，將2D邊界框轉化為三維點云，從而獲取目標物體的類別、大小與位姿信息。

7.一種基于深度神經網絡的三維目標檢測系統，其特征是，包括：

第一模塊，用于獲取目標物體所處環境的彩色圖像和點云信息；

第二模塊，用于采用深度神經網絡YOLO6D與YOLOv2對彩色圖像進行聯合檢測，框選目標物體，分別獲取目標物體在彩色圖像上的2D邊界框與3D邊界框；

第三模塊，用于將點云信息映射到彩色圖像的圖像坐標系下，獲取點云信息在彩色圖像中的坐標信息；

第四模塊，用于根據目標物體在圖像上的2D邊界框與3D邊界框，結合點云信息在彩色圖像中的坐標信息，分別獲取2D邊界框與3D邊界框的深度信息；

第五模塊，用于根據2D邊界框與3D邊界框的深度信息，結合點云信息的維度，獲取目標物體的類別、大小和位姿信息。