[發明專利]一種基于機器人視覺的復雜異形曲面三維分割方法及系統

有效

• 申請號: 201911297669.0
• 申請日: 2019-12-17
• 公開（公告）號: CN111028238B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 王耀南;蘇學叁;毛建旭;朱青;彭偉星;史雅蘭;唐永鵬
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 鄧翠;莫曉齊

本發明公開了一種基于機器人視覺的復雜異形曲面三維分割方法及系統，在通過三維激光相機獲取到異形曲面工件的點云數據后，首先基于直通濾波的方法對點云數據進行工作范圍內的點云預處理，剔除大量無關背景點云，然后采取體素網格下采樣的方法對剩余點云做稀疏化處理從而進一步加快點云分割的速率，最后基于KPConv的方法對包含了機械手末端的曲面點云做實例分割，在Kernel?Points點云卷積核的基礎上設計了一種局部依賴于點與點之間幾何特征關系的新卷積方法，增強了局部點特征提取能力，綜合KPConv的可變形卷積核與局部點云特征提取能力，具有效率和準確度高，且分割效果好的優點。

技術領域

本發明屬于三維點云分割領域，具體涉及一種基于機器人視覺的復雜異形曲面三維分割方法及系統。

背景技術

目前工業場景下的復雜異形曲面金屬工件點云分割存在許多難題，一是金屬表面經過激光面陣相機照射后，表面容易反光，造成點云數據采集有缺陷，無法獲取完整點云；二是在工業復雜場景下，對特定目標物體的點云分割存在環境噪音大、背景點復雜繁多難以直接分割的問題；三是復雜異形曲面工件表面難以用函數擬合，常用的隨機采樣一致性點云分割算法無法準確擬合異形曲面，分割效果不理想，四是深度學習領域處理三維點云數據存在著計算量相比于二維圖像有一個維度的增加，訓練網絡時間非常長，而且類似于PointNet深度學習框架的神經網絡對局部點云的細節特征存在著提取難度大的問題。五是針對復雜曲面點云數據的數據集非常少，使用經典的Shapenet數據集訓練出的神經網絡存在著對復雜曲面點云分割效果不匹配的問題。

針對金屬表面容易反光的問題，在采集這樣的金屬工件的點云數據時，通常做法是給金屬表面涂上不易透光的涂料，然而這樣會導致金屬工件后期表面需要除污工序和工件厚度變化需要進行后期數據再處理等新的問題出現；針對工業環境下的航空發動機葉片的三維測量，直接使用點云分割算法易產生大量背景噪聲點，使點云分割效率降低，準確率下降，需要進行一定的預處理方法將背景點剔除；針對航空發動機葉片等復雜異形曲面，利用傳統的RANSAC算法無法準確找到擬合發動機葉片的準確函數模型，無法做到準確的點云分割。

故此，如何解決目前工業測量復雜異形曲面自動化程度低，進而實現異形曲面點云的快速精準分割，成了本領域技術人員致力研究的問題。

發明內容

本發明的目的在于避免現有技術中的不足而提供一種基于機器人視覺的復雜異形曲面三維分割方法及系統，其通過目標范圍內的點云直通濾波和點云稀疏化的處理手段，將繁雜的環境背景點云剔除，然后采用一種對稱性的神經網絡，對預處理后的點云數據集進行網絡訓練，神經網絡將每個局部點的特征和全局坐標結合起來，實現分割的功能。

本發明的目的之一通過以下技術方案實現：提供一種基于機器人視覺的復雜異形曲面三維分割方法，包括以下步驟：

S1、通過三維激光相機采集機器人手持異形曲面工件的點云數據；

S2、對采集的點云數據進行直通濾波預處理，以剔除環境背景點云；

S3、對預處理后的點云數據稀疏化再處理；

S4、將再處理后的點云數據整合成帶標簽的點云數據集，且點云數據集分成訓練集和測試集兩部分；

S5、將訓練集放入神經網絡進行訓練，使得神經網絡的參數調整以符合分割的性能要求；

S6、調整神經網絡參數并將訓練好的神經網絡用于隨機采集的點云數據中測試，并作出性能評估；

S7、判斷分割是否準確，若是，則輸出分割結果；反之，返回步驟S5。

作為進一步的改進，所述步驟S1采集的點云數據包含從360度方向拍攝的機器人手持異形曲面工件而采集的點云數據。