[發明專利]一種基于3D點云語義分割的道路坑洞檢測方法及裝置

在審

• 申請號: 202211068178.0
• 申請日: 2022-09-02
• 公開（公告）號: CN115131360A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 劉繼超;唐至威;金巖;馮謹強;胡國鋒;甘琳;詹慧媚;邱敏;付曉雪;韓信
• 申請（專利權）人: 海納云物聯科技有限公司;青島海納云智能系統有限公司;青島海納云數字科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/33;G06V10/25;G06V10/26
• 代理公司: 北京元中知識產權代理有限責任公司 11223
• 代理人: 張則武

本發明涉及道路坑洞檢測技術領域，公開了一種基于3D點云語義分割的道路坑洞檢測方法及裝置。本發明利用激光雷達和RGB相機進行聯合校準，然后用兩種相機拍攝道路，分別得到3D圖像和2D圖像，根據2D圖像，通過路面語義算法分割算法提取路面區域圖像，根據所提取的路面區域圖像，將其對應到3D點云數據中，排除非路面區域的干擾信息，通過將點云數據代入算法中，來檢測路面坑洞，將坑洞的3D點映射到2D圖像中，將坑洞用矩形框標出。本發明最大限度的減少非道路路面區域對道路坑洞檢測的負面影響，能降低人工成本、減少工作量、提高檢測效率，并且能夠減少光照、環境、車流對道路坑洞檢測的影響，使道路坑洞檢測結果更加準確。

技術領域

本發明屬于道路坑洞檢測技術領域，具體地說，涉及一種基于3D點云語義分割的道路坑洞檢測方法及裝置。

背景技術

隨著時間的推移，道路受車輛擠壓、沖撞、磨損等因素影響，容易產生坑洞、裂縫等損壞，影響道路的使用年限，甚至威脅行車安全。為保持道路健康、消除安全隱患，路政部門往往需要定期指派工作人員進行人工道路巡檢，人工上路巡視的方法工作量大、人工成本高具有費時費力、效率低下的問題，基于2D圖像深度學習的道路坑洞檢測方法受環境、光照、車流影響較大，且坑洞形狀各異，容易發生誤檢漏檢。

發明內容

本發明要解決的技術問題在于克服現有技術的不足，提供一種基于3D點云語義分割的道路坑洞檢測方法及裝置，通過2D圖像語義分割和3D點云語義分割算法相結合，使用2D相機和激光雷達進行多傳感器數據融合，使用2D相機提取道路路面，使用激光雷達尋找路面坑洞，能夠降低人工成本、減少工作量、提高檢測效率，并且能夠減少光照、環境、車流對道路坑洞檢測的影響，使道路坑洞檢測結果更加準確。

為解決上述技術問題，本發明采用的技術方案為：

步驟一：對3D相機和2D相機進行聯合校準；

步驟二：使用3D相機和2D相機同時拍攝道路的同一場景，得到3D圖像和2D圖像；

步驟三：根據2D圖像，通過路面語義分割算法提取路面區域圖像；

步驟四：在相關聯的3D圖像中確定所對應的路面區域圖像的點云數據，通過3D點云語義分割算法對路面區域的點云數據進行處理，檢測路面區域坑洞的數據點。

所述步驟四還包括排除干擾信息，將3D點云數據中除路面區域以外的點清除，僅保留路面區域的點云。

進一步地，將檢測出坑洞的3D數據點映射到2D圖像后，獲取3D點（x,y,z）對應于2D圖像的坐標（x,y）,用矩形框將坑洞標出。

所述步驟一中，使3D相機和2D相機采集到的同一區域的數據中的每個像素一一對應，以此來完成兩個相機的聯合校準。

所述步驟二中，所述3D相機為激光雷達，采集3D點云數據；所述2D相機為RGB相機，采集RGB圖像數據。

進一步地，激光雷達和RGB相機分別實時采集3D點云數據和2D圖像數據，并統一發送至服務器進行實時數據處理；優選地，服務器為車載服務器。

進一步地，比較3D點云數據和2D圖像數據的時間戳，挑選時間戳最相近的3D點云數據和2D圖像數據，進行下一步路面區域圖像的提取。

進一步地，將RGB相機采集到的2D圖像輸入到語義分割算法中，判斷每個像素點是否屬于路面，從而得到表示路面區域的mask圖。

所述步驟三里，2D圖像中先劃定ROI區域，在ROI區域，通過路面語義分割算法提取路面區域圖像。

進一步地，所述的是一種道路坑洞檢測裝置，采用上述的3D相機和2D相機通過3D點云語義分割算法來檢測路面區域坑洞，其中裝置包括圖像數據獲取模塊、路面區域圖像提取模塊以及路面坑洞檢測模塊。