[發明專利]一種基于單目視覺的搬箱機械手

在審

• 申請號: 202210386972.3
• 申請日: 2022-04-14
• 公開（公告）號: CN114800494A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 孫巧妍;張德軍;林春梅;高長旭;裴進濤;張洋;姚緒強;劉金海;衣玉杰
• 申請（專利權）人: 煙臺南山學院
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/02;B65G47/90
• 代理公司: 煙臺智宇知識產權事務所(特殊普通合伙) 37230
• 代理人: 李增發

1.一種基于單目視覺的箱式貨物搬運機械手，包括計算機，3軸機械手，其特征在于，還包括安裝在搬運場地上方、與計算機相連的單目攝像頭和超聲波傳感器，按照如下步驟執行：

S1，機械手初始位置坐標記定義為(0,0)，單目攝像頭對場地內的箱子進行俯視采集圖像；

S2，計算機對單目攝像頭采集的箱子的圖像進行處理和識別，得到一個適合搬運的箱子；

S3，計算機根據第一個箱子的圖像，確定待搬運箱子的平面質心坐標(x_c,y_c)；

S4，計算機控制3軸搬運機械手到達待搬運箱子的平面質心正上方；

S5，超聲波傳感器對待搬運箱子的頂面進行距離測量，計算機計算出機械手下降的距離；

S6，3軸機械手搬運該箱子；

重復步驟S1-S5，直至搬運完所有的箱子。

2.根據權利要求1所述的一種基于單目視覺的箱式貨物搬運機械手，其特征在于，在步驟S2中，對圖像識別和處理包括如下步驟：

S21，二值化處理，將采集圖像的RGB三色數據按照下述權值折算處理：

S22，邊緣檢測，使用edge函數默認的Sobel算子，將0.2到0.6之間的灰度擴展到0到1整個范圍；

S23，降噪濾波，用5×5的方形結構元對上一步處理后的圖像進行2次腐蝕操作，使邊界點向內收縮，消除小且無意義的雜點；

S24，尋找完整圖像，首先上步的圖像進行“填孔洞”操作，只有沒有被遮擋的箱子才會有完整清晰的邊界，執行填孔洞操作時會有變化，被遮擋的箱子對應的邊緣圖像無孔可填；再對圖像進行減法操作，剔除部分被遮擋的箱子圖像，計算剩余圖像的面積；最后用bwareaopen函數從上一步處理后的圖像中移除所有面積小于閾值的連通圖像，進一步將噪聲圖像和部分被遮擋的箱子圖像剔除；

S25，得到搬運目標，將上一步處理后的圖像先標記連通區域，然后計算每個連通區域的面積，取所有面積中最小的那個面積作為本次搬運目標。

3.根據權利要求1所述的一種基于單目視覺的箱式貨物搬運機械手，其特征在于，在步驟S3中，箱子的平面質心按照如下算法：

其中(x_c,y_c)為光斑的中心坐標，I_ij為二維圖像上每個像素點所接收到的光強，將識別出的質心在采集到的原圖上做出標識。

4.根據權利要求1所述的一種基于單目視覺的箱式貨物搬運機械手，其特征在于，在步驟S4中，3軸搬運機械手對目標抓取并搬運，采用逆解建模，通過建模計算得出的數據調整各數字舵機的角度，控制機械臂動作完成動作，逆解過程包括：

S51，求B點坐標，根據下式

S52，求出理想的θ₁，根據余弦定理

所以得出θ₁＝α+β；

S53，求出理想的θ₂，根據三角函數關系和余弦定理，

第四步，求出θ₃

通過γ＝θ₁+θ₂+θ₃，求出θ₃＝γ-θ₁-θ₂；

其中，l₁、l₂、l₃分別為第一、第二、第三機械臂的尺寸；x_A,y_A為A點坐標，即是由圖像處理算法得到的數據；γ為第三機械臂與水平面的夾角；α為第一機械臂與水平面的夾角；β為第三機械臂外端與水平面的夾角；θ₁、θ₂和θ₃分別為第一機械臂與水平面的夾角、第二機械臂與第一機械臂延長線的夾角和第三機械臂與第二機械臂延長線的夾角。

5.根據權利要求1所述的一種基于單目視覺的箱式貨物搬運機械手，其特征在于，在步驟S5中，機械手下降的距離根據下式計算：

d＝(t_on×v_聲音)/2

式中，v_聲音取340m/s，t_on為高電平時間。