[發明專利]焊縫運動軌跡的自動示教方法和裝置

有效

• 申請號: 201910140444.8
• 申請日: 2019-02-25
• 公開（公告）號: CN109903279B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 王柯;戚驍亞;齊立哲;劉建都;劉旭;李夢煒
• 申請（專利權）人: 北京深度奇點科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/70;G06N3/04
• 代理公司: 北京謹誠君睿知識產權代理事務所(特殊普通合伙) 11538
• 代理人: 延慧

1.一種焊縫運動軌跡的自動示教方法，其特征在于，包括：

獲取待焊接物體的彩色圖像和三維點云圖像；

對所述彩色圖像進行處理，定位出焊縫區域；

根據所述彩色圖像與所述三維點云圖像之間的對應關系，在所述三維點云圖像中提取出焊縫區域的局部點云圖像；

根據提取的所述局部點云圖像確定焊縫的起點和終點。

2.根據權利要求1所述的方法，其特征在于，所述對所述彩色圖像進行處理，包括：

使用卷積神經網絡對所述彩色圖像進行處理，所述卷積神經網絡是預先訓練的卷積神經網絡模型。

3.根據權利要求2所述的方法，其特征在于，所述使用卷積神經網絡對所述彩色圖像進行處理，包括：

通過第一神經網絡對所述彩色圖像進行處理，得到焊縫區域在所述彩色圖像中的矩形區域位置；

通過第二神經網絡對所述矩形區域內的圖像進行處理，得到焊縫區域。

4.根據權利要求3所述的方法，其特征在于：所述第一神經網絡為物體檢測神經網絡，所述第二神經網絡為物體分割神經網絡。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述彩色圖像與所述三維點云圖像之間的對應關系為：像素坐標之間的對應關系。

6.根據權利要求5所述的方法，其特征在于，所述在所述三維點云圖像中提取出焊縫區域的局部點云圖像，包括：

將所述彩色圖像的像素的坐標轉換為齊次坐標形式；

根據所述彩色圖像與深度圖像之間的對應關系，將所述彩色圖像的像素的齊次坐標轉換為空間坐標；

根據相機的自身參數，將所述空間坐標轉換為所述三維點云圖像的像素的齊次坐標；

根據所述三維點云圖像的像素的齊次坐標提取出焊縫區域的局部點云圖像；

其中，所述深度圖像與所述三維點云圖像是通過同一個攝像頭獲取的。

7.根據權利要求1-4、6任一項所述的方法，其特征在于，所述根據提取的所述局部點云圖像確定焊縫的起點和終點，包括：

對所述局部點云圖像進行去噪處理；

對去噪處理后的圖像進行平面分割，得到兩個平面方程；

計算兩個平面方程的交線的方程，并轉化為該交線對應的向量；

定位出所述局部點云圖像中沿所述向量方向的最大和最小值點；

計算出以所述向量為法向量，分別過上述最大和最小值點的兩個平面；

計算出兩個平面與所述交線的兩個交點；

將兩個交點中坐標X方向離焊接機器人較近的交點作為焊縫的起點，另一個交點作為焊縫的終點。

8.根據權利要求7所述的方法，其特征在于，所述對所述局部點云圖像進行去噪處理，包括：

對所述局部點云圖像進行濾波，去除其中的無效點及離群點；

對濾波后的圖像進行下采樣。

9.根據權利要求7所述的方法，其特征在于，所述對去噪處理后的圖像進行平面分割，包括：

使用ransac算法將點云圖像分割成兩個平面。

10.一種焊縫運動軌跡的自動示教裝置，其特征在于，包括：

獲取模塊，用于獲取待焊接物體的彩色圖像和三維點云圖像；

定位模塊，用于對所述彩色圖像進行處理，定位出焊縫區域；

提取模塊，用于根據所述彩色圖像與所述三維點云圖像之間的對應關系，在所述三維點云圖像中提取出焊縫區域的局部點云圖像；

確定模塊，用于根據提取的所述局部點云圖像確定焊縫的起點和終點。