[發明專利]一種基于視覺導引的機器人自主開門方法與系統

有效

• 申請號: 202011406140.0
• 申請日: 2020-12-03
• 公開（公告）號: CN112571415B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李宇翔;陳浩耀;王志濠;王煜;劉云輝
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J18/00;G06V10/26;G06T7/66
• 代理公司: 深圳市添源知識產權代理事務所(普通合伙) 44451
• 代理人: 羅志偉

1.一種基于視覺導引的機器人自主開門方法，其特征在于，包括以下步驟：

S1、機器人進行語義分割及語義目標質心的計算；

S2、機器人對房門進行粗定位；

S3、機器人對門把手進行精定位；

S4、機器人執行開門動作；

在步驟S1中，機器人通過視覺傳感模塊獲取前方的彩色圖和深度圖，通過語義分割網絡對彩色圖進行語義識別得到各像素的語義標簽，即識別出若干個語義目標，結合深度圖為各語義目標生成對應的三維點云，從而計算各語義目標三維點云的三維質心坐標；

在步驟S2中，當語義分割網絡識別出房門，機器人計算出房門對應的房門三維點云的質心坐標，然后讀取機器人的當前位置，根據機器人的等效半徑計算機器人到房門的距離，當機器人到房門的距離小于預設閾值時，獲取初步的房門平面方程，計算房門平面的法線方向，控制機器人以房門的質心坐標為目標點，沿房門平面的法線方向向房門三維點云的質心坐標行駛，直至到達開門預設位置；

對房門三維點云進行RANSAC平面分割得到初步的房門平面方程；

在步驟S3中，再次通過視覺傳感模塊獲取機器人前方的彩色圖和深度圖，通過語義分割網絡對彩色圖進行語義識別得到各像素的語義標簽，即識別出若干個語義目標，然后結合深度圖為各語義目標生成三維點云，并從中讀取出語義標簽為門把手的三維點云；用完整的深度圖生成全局的三維點云，并重新獲取房門平面方程，計算在門把手的三維點云中的各點到房門平面的距離，計算門把手的三維點云的質心坐標；

剔除與房門平面距離d_k＞10cm和d_k＜5cm的點，得到修正后的門把手的三維點云，然后重新計算并修正門把手的三維點云的質心坐標；

在步驟S3中，用完整的深度圖生成全局的三維點云，并對全局的三維點云做RANSAC平面分割，重新得到房門平面方程。

2.根據權利要求1所述的基于視覺導引的機器人自主開門方法，其特征在于：在步驟S4中，首先控制機械夾爪張開，并移動多關節機械臂末端到門把手的三維點云的質心坐標，當多關節機械臂就位后，控制機械夾爪閉合使其抱緊門把手，其次控制多關節機械臂的末端關節進行旋轉，從而將門鎖打開。