[發明專利]基于點云獲取和處理的抓取訓練方法及系統

在審

• 申請號: 201911303064.8
• 申請日: 2019-12-17
• 公開（公告）號: CN111085997A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 劉厚德;張鄭;周星如;王學謙;阮見;劉思成;梁斌
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本申請實施例公開一種基于點云獲取和處理的抓取訓練方法及系統。所述系統包括相機、機械手、機械臂、機械臂基座和主控制計算機。所述方法包括：A1、將從相機得到的點云信息輸入至第一部分神經網絡，以獲得實物場景內目標物體的位姿信息；A2、將所述位姿信息輸入至所述第二部分神經網絡，以生成相對于相機光軸坐標系的第一抓手位姿信息；A3、將所述第一抓手位姿信息變換成相對于機械臂基座坐標系的第二抓手位姿信息；A4、根據所述第二抓手位姿信息控制機械臂和機械手抓取目標物體；A5、獲取反映抓取效果的指定指標。本申請實施例可以觀察實物抓取效果，為算法的質量提供反饋，這不僅大幅提升了算法訓練的效率，也在一定程度上提升了算法的實用性。

技術領域

本申請涉及機器人技術領域，特別涉及一種基于點云獲取和處理的抓取訓練方法及系統。

背景技術

隨著人工智能與硬件設備的飛速發展，大大的推進了工業化進程與機器人科學的發展。機器人的抓取功能是機器人最基本的功能，用來在任務中執行諸如分揀、拾取等基本的任務操作。在工業生產環境或者物流分揀任務下，機器人抓取應用十分常見。但是在很多情況下，需要完成抓取的物體場景比較復雜，比如包含多種物體并存在堆疊現象，加之機器人事先對該環境并沒有先驗認知，這就導致機械手真正完成抓取任務時會遇到較大的阻礙。

為此，目前較為流行的解決辦法是采用機器學習的理念，利用基于模型的已知信息對系統進行訓練，最終使系統可以從視覺的原始輸入中直接做出抓取決策。目前常用的訓練方案包括利用RGB雙目圖像信息作為原始輸入產生抓取策略，或者限制輸入場景的復雜度以保證識別的準確性，又或者將整個抓取系統中各個部分分割開來處理，不能形成一套通用完整的訓練體系。利用RGB雙目信息的訓練系統會受到諸如光強、照度等問題的制約，且處理起來較為繁瑣；而通過限制場景復雜程度雖然能較顯著的提升抓取的可靠性，但是在實際應用時會受到多物體堆疊的干擾，從而無法保證達到與訓練時相同的良好效果；把各個設備割裂開來分別予以處理，則無法成為體系，難以進行推廣和應用。

在機器人抓取中的一個關鍵問題就是視覺輸入問題。當前機器人從環境中獲取信息最為高效的方式即為視覺。現有的抓取技術在原始視覺信息的獲取上往往有兩種選擇：一是使用RGB雙目相機獲取場景3D信息，二是使用基于TOF(Time of Flight)光行時間原理獲得的點云信息。

通過RGB雙目相機如Point Grey公司推出的BumbleBee系列相機，獲得場景的RGB-D信息，進而使用可以處理RGB-D圖像的機器學習算法得到場景內的物體特征。雙目視覺的原理比較簡單，主要是將左右兩個相機獲得圖像數據進行整合，可以用圖1來表示。其中基線距B為兩攝像機的投影中心連線的距離，相機焦距為f。設兩攝像機在同一時刻觀看空間物體的同一特征點P(x_c,y_c,z_c)，分別在“左眼”和“右眼”上獲取了點P的圖像，它們的圖像坐標分別為P_left(X_left,Y_left)，P_right(X_right,Y_right)。

現由于兩攝像機的焦距相同，則對同一個點所成的像會落在同一個平面上，因此特征點P的在兩幅圖像內的坐標Y坐標相同，即Y_left＝Y_right＝Y。根據圖6中的三角幾何關系進行計算和整理可以得到如下結論：

經過以上運算，可以從兩幅圖像中獲得場景點在相機坐標系(左相機)內的坐標值，只要逐點計算便可得到整個場景內點的三維坐標。