[發明專利]一種人機交互式野外果蔬采收機器人系統及其采收方法

有效

• 申請號: 201810348380.6
• 申請日: 2018-04-18
• 公開（公告）號: CN108718704B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 呂繼東;王藝潔;徐黎明;諸燕平;石林;鄒凌;徐守坤;馬正華
• 申請（專利權）人: 常州大學
• 主分類號: A01D46/30
• 分類號: A01D46/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種人機交互式野外果蔬采收機器人系統，其特征在于，所述系統包括圖像采集裝置、機械手裝置、機器人移動平臺、果蔬收揀裝置、主控設備：

所述圖像采集裝置：用于機器人控制運動后果蔬圖像的實時獲取；

所述機械手裝置：用于根據人機交互結果獲取的采收目標位置信息進行抓取分離；

所述機器人移動平臺：用于在野外環境下的控制運動；

所述果蔬收揀裝置：用于負責果蔬采收后回置于收揀籃框中；

所述主控設備：集成了人機交互界面和控制界面，用于對整個系統進行控制；

所述機械手裝置包括4個4自由度機械臂，兩兩分別置于移動平臺的輪側；機械臂的第一個自由度為橫移自由度，用于機械手沿著導軌橫軸移動；第二個自由度為旋轉自由度，用來旋轉移動后兩個自由度機械臂；第三個自由度為升降自由度，起縱向抬升機械手的作用；第四個自由度為直動自由度，連接末端執行器直動采收目標果蔬；

所述機械手末端執行器夾持中心加裝有反射型激光測距儀，用于目標果蔬深度信息的獲取；

所述果蔬收揀裝置由機械臂直動關節始端固裝的果蔬收揀索道、車體駕駛艙下方的果蔬收揀傳送帶以及車體前后方的果蔬收揀籃框組成；果蔬收揀索道緊接相應傳送帶；傳送帶有兩條，分別負責車體兩輪側機械手所采收果蔬的前后方傳送；果蔬收揀籃框上邊沿水平緊貼傳送帶，同時附加有柔性襯墊，以避免送入的果蔬損傷，使其賣相不佳；

人機交互界面顯示所述圖像采集裝置實時采集的果蔬圖像，工作人員通過觸摸筆手動點取要采收的目標果蔬；

所述主控設備包含兩塊人機交互觸摸屏，每一塊負責一輪側兩機械手果蔬采收的人機交互，其中左半面目標果蔬由輪側左方機械手采收，右半面目標果蔬由輪側右方機械手采收；所述主控設備能夠自動記錄目標果疏的二維圖像坐標和左右半面的點擊順序，并通過坐標轉換將二維圖像坐標換算為機器坐標控制各個機械手調整橫移、升降機械臂對準目標果蔬，在此過程中，直動關節以低速向前推進；

所述圖像采集裝置包括兩套單目彩色攝像機和智能控制云臺設備；所述彩色攝像機安置在智能控制云臺上，相當于人的眼睛，能夠上下和左右移動旋轉，與主控設備上的相應接口相連，實現兩路圖像采集；每套圖像采集設備負責用于兩機械手采收果蔬的圖像實時獲取。

2.如權利要求1所述的人機交互式野外果蔬采收機器人系統，其特征在于，所述機械手各個自由度采用磁性元件作為限位傳感器，以保護設備安全；末端執行器夾具加裝內含壓力傳感器的柔性襯墊，最大限度避免果蔬損傷；機械手各自由度伺服驅動器基于現場總線組網后與主控設備連接進行通信控制；末端執行器則通過串口與主控設備連接實現通信控制；機械手其他各個限位、壓力傳感器通過開關量數據采集卡與主控設備PCI相連。

3.如權利要求1所述的人機交互式野外果蔬采收機器人系統，其特征在于，所述機器人移動平臺包括三角履帶輪式車體、電源、動力控制設備、人員駕駛艙；電源用于提供系統能量；動力控制設備用于驅動所述三角履帶輪式車體，收揀果蔬傳送帶的運轉；人員駕駛艙用于工作人員控制機器人平臺的移動以及果蔬采收的人機交互。

4.如權利要求3所述的人機交互式野外果蔬采收機器人系統，其特征在于，所述人員駕駛艙能夠容納2人操作，通過可開啟前后門進入，其中1人負責移動車體的駕駛，果蔬采收時負責一側兩機械手果蔬采收目標信息的人機交互以及當前方果實收揀籃框滿時的換取和整理；另外1人負責果蔬采收時另外一側兩機械手果蔬采收目標信息的人機交互以及當后方果實收揀籃框滿時的換取和整理。

5.如權利要求1所述的人機交互式野外果蔬采收機器人系統，其特征在于，人機交互觸摸屏顯示界面除了人機交互果蔬界面還可以通過屏幕虛擬按鈕切換平臺控制界面，用于平臺各功能的手動測試以及當攝像頭云臺或機械手初始位置變動后的圖像坐標系和機械手坐標系的重新映射校準。

6.一種人機交互式野外果蔬采收機器人系統的果蔬采收方法，包括以下步驟：

步驟1：首先平臺在工作人員的駕駛下進入種植園果蔬夾道內，兩邊輪側機械手分別面向果蔬；系統啟動調整好各個云臺以及機械手的位置，在人機交互屏控制界面上完成圖像坐標系和各個機械手坐標系的映射校準；切換人機交互界面，啟動攝像頭和車架下的果蔬傳送帶，果蔬圖像實時顯示在屏幕上；

步驟2：工作人員通過觸摸筆點擊人機交互界面果蔬圖像上要采收的果蔬目標，主控設備同時自動記錄目標果實的二維圖像坐標和左右半面的點擊順序；

步驟3：系統通過坐標轉換換算為機器坐標控制各個機械手調整橫移、升降機械臂對準第一個目標果蔬，在此過程中，直動關節以低速向前推進；

步驟:4：系統啟動各個機械手末端執行器夾持中心的激光測距儀，獲取將要進行采收的果蔬深度信息，隨后直動關節以高速行進至所測深度距離后，末端執行器夾持目標果蔬；

步驟5：直動關節回程，打開末端執行器，目標果蔬落入果蔬收揀索道，經過緩沖之后，滾入傳送帶，最后被送入到果蔬收揀籃框內；

步驟6:在上一果蔬落入收揀索道的同時，機械手根據步驟2記錄的人機交互采收記錄信息，重復執行步驟3-步驟5；

步驟7:當采集圖像中的果蔬采收完之后，工作人員駕駛平臺移動至合適位置，重復執行步驟2-步驟6。