[發明專利]基于機器視覺的車載機械臂式水果拾取裝箱系統及方法

在審

• 申請號: 202011253907.0
• 申請日: 2020-11-11
• 公開（公告）號: CN112428268A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 穆悅;顏開;王凱;郭威;二宮正士
• 申請（專利權）人: 南京農業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/02;B65B25/04;B65B5/10
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 王玉

1.基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，包括：

自走車裝置，用于搭載機器手臂裝置，同時驅動整個基于機器視覺的車載機械臂式水果拾取裝箱系統進行移動；

機器手臂裝置，安裝在自走車裝置上，用于水果的拾取裝箱；

機器視覺裝置，安裝在機器手臂裝置中的末端執行器（13）上，用于識別并定位水果；

控制系統，安裝在自走車裝置中，用于控制自走車裝置的運動并分析機器視覺裝置傳輸的數據，驅動機器手臂裝置完成對水果的抓取。

2.根據權利要求1所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述自走車裝置包括車輪（9）和車架（10），所述車輪（9）安裝在車架（10）的底部，所述車輪（9）內安裝有用于驅動車輪（9）轉動的電動馬達（19）；所述車架（10）上部安裝有電池模塊（4），所述電池模塊（4）外部的一側安裝有自走車電子調速器（17），所述自走車電子調速器（17）與車輪（9）、電動馬達（19）均連接。

3.根據權利要求2所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述車架（10）中安裝有控制系統，所述控制系統內安裝有片上系統（18）、自走車單片機（16）和無線電接收器（15），所述自走車單片機（16）與片上系統（18）、自走車電子調速器（17）、無線電接收器（15）均連接，所述無線電接收器（15）接受遙控手柄的信號，并將信號傳輸到片上系統（18），片上系統（18）將信號傳送給自走車單片機（16），自走車單片機（16）計算來自片上系統（18）的信號并將結果傳輸給自走車電子調速器（17），調節電動馬達（19）的轉速。

4.根據權利要求1所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述機器手臂裝置包括：

機器手臂單片機（11），安裝在機器手臂裝置內部，與控制系統、機器手臂電子調速器（12）均連接，用于計算來自片上系統（18）的信號并將結果傳輸給機器手臂電子調速器（12）；

機器手臂電子調速器（12），安裝在機器手臂裝置內部，與機器手臂單片機（11）、機械臂（5）均連接，用于驅動各個機械臂（5）；

末端執行器（13），位于機器手臂裝置末端，與機械臂（5）連接，用于拾取目標水果；

接觸傳感器（14），位于各個機械臂（5）連接處，與控制系統連接。

5.根據權利要求4所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述末端執行器（13）包括步進電機（6）和柔性機械爪（7），所述步進電機（6）與驅動控制器（8）、機器手臂單片機（11）、柔性機械爪（7）均連接，所述步進電機（6）用于驅動柔性機械爪（7）運動。

6.根據權利要求5所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述柔性機械爪（7）采用鰭條效應結構。

7.根據權利要求1所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述機器視覺裝置包括：用于識別并定位水果的單目相機模塊（21）、用于測量和水果之間距離的激光雷達模塊（20），所述單目相機模塊（21）和激光雷達模塊（20）均直接與控制系統相連接，單目相機模塊（21）和激光雷達模塊（20）采集的數據直接傳輸給控制系統中片上系統（18）進行處理。

8.根據權利要求1所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，所述控制系統外部的一側安裝有緊急開關模塊（1），所述自走車裝置上安裝有GPS模塊（2）和路由器（3），所述緊急開關模塊（1）、GPS模塊（2）和路由器（3）分別與控制系統相連接，所述控制系統與電子計算機相連接。

9.一種水果拾取裝箱方法，采用如權利要求2到8任一項所述的基于機器視覺的車載機械臂式水果拾取裝箱系統，其特征在于，包括如下步驟：

通過激光雷達模塊（20）和單目相機模塊（21）對水果進行識別、定位，然后將水果的位置信息傳輸到片上系統（18）；

片上系統（18）獲取水果的位置信息后，通過控制機器手臂單片機（11）、驅動機械臂（5）帶動末端執行器（13）移動至水果的上方，通過激光雷達模塊（20）調整機械臂（5）的位姿，實現果實抓取；

采用激光測距技術檢測激光雷達模塊（20）與水果的距離，進而判斷末端執行器（13）是否成功拾取水果，若拾取水果失敗，則返回初始位置再次抓取；若成功拾取水果，則通過片上系統（18）控制機器手臂單片機（11）驅動機械臂（5）帶動末端執行器（13）移動至果箱，同時采用片上系統（18）記錄的果箱深度圖來確定擺放水果的位置，進而實現水果的順序擺放；

整個水果的拾取裝箱過程結束后，采用激光雷達模塊（20）掃描果箱，得到果箱的深度圖，并將其傳輸到片上系統（18）進行記錄。