[發明專利]一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法

有效

• 申請號: 201710363788.6
• 申請日: 2017-05-22
• 公開（公告）號: CN107300100B
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 趙昕玥;江智偉;何再興;張樹有;吳晨睿
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;F16M11/06;F16M11/04;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其中機械臂末端安裝攝像機，并進行手眼標定，其特征在于：

步驟1，離線準備階段：建立被抓取零件的CAD模型，使用虛擬攝像機對零件的CAD模型在不同位姿下拍攝生成一系列模板圖像，對模板圖像進行邊緣檢測提取獲得模板邊緣圖像，然后對模板邊緣圖像進行聚類，構造位姿層次樹；

步驟2，位姿預估階段：將實際拍攝的實際邊緣圖像和位姿層次樹中的模板邊緣圖像進行相似度計算，以相似度最高的模板邊緣圖像拍攝時對應的位姿作為預估位姿；

步驟3，接近階段：以預估位姿設定機械臂的運動軌跡，在運動軌跡上生成多張路徑模板圖像，通過路徑模板圖像引導機械臂按設定的運動軌跡接近被抓取零件；

步驟4，精確引導階段：接近被抓取零件后，用機械臂末端的攝像機實時采集獲得實際圖像，根據被抓取零件的目標位姿實際圖像和實際圖像利用基于圖像的視覺伺服方法進行最后精確引導，進行抓取或裝配操作。

2.根據權利要求1所述的一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其特征在于：所述的步驟1中，對模板邊緣圖像進行聚類構造位姿層次樹具體是：

1.1針對所有圖像，計算每兩個圖像之間的相似度，將相互之間均相似的多張圖像歸為一類，從而進行分類；

1.2先對模板邊緣圖像采用步驟1.1進行處理獲得第一層分類；

1.3再針對第一層分類后的每一類，取位姿位于中心的模板邊緣圖像作為該層該類的中心圖像，接著將該層的所有中心圖像采用步驟1.1進行處理

1.4獲得下一層分類，再迭代重復步驟1.3直至類別數達到預設數量閾值，完成位姿層次樹構建。

3.根據權利要求1所述的一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其特征在于：所述的步驟2具體為：用機械臂末端的攝像機實時采集獲得實際圖像，并進行邊緣檢測提取獲得實際邊緣圖像，將實際邊緣圖像和位姿層次樹中的模板邊緣圖像進行相似度計算，并使用終止條件加速相似度計算，獲得相似度最高的模板邊緣圖像，以模板邊緣圖像拍攝時對應的位姿作為預估位姿。

4.根據權利要求3所述的一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其特征在于：所述步驟2將實際邊緣圖像和位姿層次樹中的模板邊緣圖像進行相似度計算，并使用終止條件加速相似度計算，具體為：先將實際邊緣圖像與位姿層次樹中最高層的模板邊緣圖像進行相似度計算，再根據最高層相似度結果將實際邊緣圖像與位姿層次樹中第二高層的模板邊緣圖像進行相似度計算，以此類推直到與第一層的模板邊緣圖像進行相似度計算后，以相似度最高的模板邊緣圖像拍攝時對應的位姿作為預估位姿。

5.根據權利要求1-4任一所述的一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其特征在于：所述的相似度采用以下公式計算：

其中，為一圖像中的任意一點p處的梯度向量，為另一圖像中點p’處的梯度向量，點p與點p’在各自圖像中的坐標相同，n為圖像中的所有像素點的總數，i代表計算的是第i對點，s為兩張圖像之間的相似度；

若相似度大于相似閾值Tm，則認為兩張圖像相似；否則不相似；

并且在相似度值計算過程中，第k對點時的相似度值s_k滿足條件時，則立即終止計算，認為兩張圖像不相似，以加速整體的計算速度。

6.根據權利要求1所述的一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其特征在于：所述的步驟3具體為：以預估位姿和目標位姿之間的連接直線作為機械臂的運動軌跡，在運動軌跡上設置多個位置點，用虛擬攝像機沿軌跡運動在每個位置點生成零件的路徑模板圖像，利用路徑模板圖像控制機械臂進行逐位置點移動；在每次需要移動到下一個位置點時，將實際圖像與下一個位姿的路徑模板圖像進行特征點匹配，計算兩張圖像之間的本質矩陣，進而計算旋轉和平移向量來移動機械臂，如此逐位置點移動直至機械臂末端到達目標位姿。

7.根據權利要求1所述的一種在線CAD模型驅動的級聯式機械臂視覺引導逼近方法，其特征在于：所述的步驟3包括：

以預估位姿和目標位姿的位置之間的連接直線作為機械臂的運動軌跡，在連接直線上均勻取n個位置點，在預估位姿和目標位姿的姿態之間插入n個姿態，n個姿態分別作為n個位置點的姿態，用虛擬攝像機在每個位置點以對應的位姿拍攝獲得n張路徑模板圖像；

在每次需要移動到下一個位置點時，提取當前位置位姿下的實際圖像和下一位置位姿下的路徑模板圖像的特征點，根據特征點對兩幅圖像的特征點進行匹配得到匹配點對，用匹配點對采用求解計算獲得本質矩陣E，然后對本質矩陣E進行奇異值分解得到旋轉矩陣和平移向量，使機械臂末端按照旋轉矩陣進行旋轉并按照平移向量進行平移。