[發明專利]融合點云信息的深度學習實例分割方法、裝置及設備有效

申請號：	202010747705.5	申請日：	2020-07-29
公開（公告）號：	CN111898530B	公開（公告）日：	2023-01-24
發明（設計）人：	仇恒坦;李同煦;沈長鵬;張小藝;劉鵬;張貽弓	申請（專利權）人：	山東洛杰斯特物流科技有限公司
主分類號：	G06V20/00	分類號：	G06V20/00;G06V10/25;G06V10/26;G06V10/70
代理公司：	濟南誠智商標專利事務所有限公司 37105	代理人：	李修杰
地址：	251500 山東***	國省代碼：	山東;37
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	融合信息深度學習實例分割方法裝置設備
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種融合點云信息的深度學習實例分割方法、裝置及計算機設備，方法包括以下步驟：采用3D相機得到實例對象圖像和對應的點云數據；利用改進的深度學習識別框架對實例對象圖像進行實例分割；對點云數據進行預處理得到有效點云；將實例分割的對象與有效點云進行信息融合，得到修正后實例分割對象；將修正后實例分割對象對外輸出應用到項目中。本發明能夠為識別系統提供圖像數據和測量數據，且可以直接與拆碼垛系統等項目實施中負責完成整個工作流程的應用系統匹配，系統集成度較高、方便部署；將點云信息融合到實例分割中，融合方式靈活，避免了僅使用一種識別方式可能存在的風險和不確定性。

技術領域

本發明涉及一種融合點云信息的深度學習實例分割方法、裝置及計算機設備，屬于圖像處理技術領域。

背景技術

在以視覺引導為基礎的項目中，基于圖像的深度學習實例分割是一種非常有效的技術方案。常用的實例分割方法有SDS、CFM、FCIS、Mask R-CNN等，因其較高的準確率，應用場景也日漸廣泛。在工業項目中，對分割的準確率和精確度要求更高，如果只依賴深度學習識別結果，則會給工業應用帶來較大風險和不可控因素。

另一方面，近幾年隨著電子技術的發展，3D相機的三維點云在成像質量、速度、精度等方面有了很大提高，真正實現了由實驗室走向工業應用。同時，點云處理算法在近幾年也成為各科研院所的研究熱點，具備了完備的開發和實驗環境，甚至基于3D點云的深度學習算法也已被提出多年。

盡管目前已有成熟的深度學習識別框架和先進的3D設備，但針對實際項目中對識別準確率要求高的特點，對系統性能提出了更高的要求。大量的新技術并未實際應用到項目中，還處在理論或者實驗室階段，對工業或者商業項目的實施也只是作為參考。因此，深度學習在實例分割上還存在識別風險、3D點云深度學習技術應用不成熟、單一識別方式不夠準確等問題。

發明內容

為了解決上述問題，本發明提出了一種融合點云信息的深度學習實例分割方法、裝置及計算機設備，能夠避免僅使用一種識別方式可能存在的風險和不確定性。

本發明解決其技術問題采取的技術方案是：

第一方面，本發明實施例提供的一種融合點云信息的深度學習實例分割方法，包括以下步驟：

采用3D相機得到實例對象圖像和對應的點云數據；

利用改進的深度學習識別框架對實例對象圖像進行實例分割；

對點云數據進行預處理得到有效點云；

將實例分割的對象與有效點云進行信息融合，得到修正后實例分割對象；

將修正后實例分割對象對外輸出應用到項目中。

作為本實施例一種可能的實現方式，采用3D相機得到圖像和對應的點云數據，包括：

采用3D相機拍攝實例對象的圖像數據，采用其測量設備獲取3D相機到物體的距離——即點云數據，然后將這兩種數據對齊，即取圖像上的一點在點云數據中查到唯一對應的深度。

作為本實施例一種可能的實現方式，所述改進的深度學習識別框架是在原有通用深度學習識別框架基礎上，針對項目內容，設定適合項目的一定數量和尺寸的錨框。改進后的深度學習識別框架的識別結果為物體的最小外包絡矩形框，便于對目標物體的尺寸測量、定位等應用。