[發明專利]一種自動加工線鱉甲腹內黃油的視覺定位與鉤切系統及其控制方法

有效

• 申請號: 202210031065.7
• 申請日: 2022-01-12
• 公開（公告）號: CN114396889B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 唐昀超;孟繁;鄒湘軍;莫杏康;吳東曉;曹宇虹;關淑鴻;劉丹萍;劉炳岳
• 申請（專利權）人: 仲愷農業工程學院;華南農業大學
• 主分類號: G01B11/24
• 分類號: G01B11/24;G01C3/00
• 代理公司: 中山市銘洋專利商標事務所(普通合伙) 44286
• 代理人: 唐飚

1.一種自動加工線鱉甲腹內黃油的視覺定位與鉤切系統，其特征在于，它包括五自由度機器人；所述五自由度機器人包括滾珠絲杠軸向移動裝置、滾珠絲杠橫向移動裝置、蝸輪蝸桿裝置、舵機和末端鉤切執行器；

所述末端鉤切執行器包括ZED雙目攝像機、刀指固定座和刀指，所述末端鉤切執行器通過步進電機控制刀指張開閉合來實現鱉甲腹內黃油的切取；所述末端鉤切執行器借助于所述舵機實現360°旋轉；

所述滾珠絲杠軸向移動裝置用于控制所述末端鉤切執行器沿垂直方向移動；所述滾珠絲杠橫向移動裝置用于控制滾珠絲杠軸向移動裝置及末端鉤切執行器橫向移動；

所述五自由度機器人連接于機器人底座上，所述ZED雙目攝像機與控制器的輸入端相互連接，以使ZED雙目攝像機捕捉到的自動加工生產線上的鱉甲腹內黃油的視覺信息通過網絡傳輸給控制器，控制器與執行模塊相連接從而指令所述末端鉤切執行器到達黃油位置進行鱉甲腹內黃油的鉤切和收集。

2.根據權利要求1所述的自動加工線鱉甲腹內黃油的視覺定位與鉤切系統，其特征在于，所述ZED雙目攝像機采集到的視覺信息數據包括黃油的三維空間位置數據、RGB值以及深度值。

3.根據權利要求2所述的自動加工線鱉甲腹內黃油的視覺定位與鉤切系統，其特征在于，所述ZED雙目攝像機固定安裝在所述刀指固定座上；刀指固定座的一端固定于舵機法蘭上，刀指固定座的另一端連接有刀指；所述刀指借助于步進電機的正反轉控制張開閉合的大小。

4.根據權利要求3所述的自動加工線鱉甲腹內黃油的視覺定位與鉤切系統，其特征在于，所述五自由度機器人安裝在鱉甲自動化加工生產線上；所述蝸輪蝸桿裝置、滾珠絲杠橫向移動裝置和滾珠絲杠軸向移動裝置都各自配備電機來各自控制且獨立運動；所述控制器用于儲存和控制五自由度機器人的運動信息數據。

5.根據權利要求4所述的自動加工線鱉甲腹內黃油的視覺定位與鉤切系統，其特征在于，所述末端鉤切執行器為四爪式機械手，所述刀指上焊接有直徑可擴的柔性仿生多片刀具，所述柔性仿生多片刀具其寬度設置為20～30mm，所述刀指數量為四個，相鄰刀指之間兩兩相隔90°且均勻排列在刀指固定座上。

6.一種自動加工線鱉甲腹內黃油的視覺定位與鉤切系統的控制方法，其特征在于，包括權利要求1-5中任一項所述的自動加工線鱉甲腹內黃油的視覺定位與鉤切系統，其控制步驟如下：

步驟一、對ZED雙目攝像機進行標定，獲得相機的內參數矩陣、畸變系數和重投影矩陣數據，從而校正左右視圖并進行坐標轉換；

步驟二、對五自由度機器人和ZED雙目攝像機進行手眼標定，得到相機坐標系和機器人坐標系的旋轉矩陣和平移矩陣；

步驟三、預先采集大量鱉甲腹黃油RGB圖像，構建鱉甲腹黃油RGB圖像樣本庫；

步驟四、使用圖像標注工具Labelme手動標注圖像中的鱉甲腹黃油，制作鱉甲腹黃油RGB圖像數據集并轉化為Tfrecord格式文件；

步驟五、將鱉甲腹黃油RGB圖像數據集按6：2：2的比例劃分為訓練集、驗證集和測試集；

步驟六、使用基于全卷積神經網絡的語義分割模型DeeplabV3進行訓練，得到鱉甲腹黃油的語義分割模型；

步驟七、將五自由度機器人固定在自動加工生產線上，并調整姿態使ZED雙目攝像機正對自動加工生產線；

步驟八、打開ZED雙目攝像機實時獲取鱉甲腹RGB圖像，調用預先訓練好的鱉甲腹黃油的語義分割模型實時分割鱉甲腹黃油區域，并進行局部立體匹配計算鱉甲腹黃油點云信息；

步驟九、根據鱉甲腹黃油點云信息計算鱉甲腹黃油中心位置坐標；

步驟十、根據計算得到的鱉甲腹黃油的中心位置坐標控制末端鉤切執行器移動到鱉甲腹黃油的垂直正上方，然后末端鉤切執行器下降并打開完成鉤切動作；

步驟十一、鉤切完成后，末端鉤切執行器上升并回到黃油收集箱上方，然后下降并打開，將鱉甲腹黃油放置到黃油收集箱里；

步驟十二、機器人轉回生產線上方，開始下一輪視覺識別到其他鱉甲腹內的黃油位置，反復循環進行上述步驟，直至自動化加工生產線停止黃油切取及收集工作。