[發(fā)明專利]具有水果成熟度辨別功能的機(jī)器人手臂裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011029395.X
• 申請(qǐng)日: 2020-09-27
• 公開（公告）號(hào): CN112136506A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 劉然;翟士朋
• 申請(qǐng)（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號(hào): A01D46/30
• 分類號(hào): A01D46/30;G01L5/00;G01N21/84;G06K9/00
• 代理公司: 長春眾邦菁華知識(shí)產(chǎn)權(quán)代理有限公司 22214
• 代理人: 張偉

1.一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，包括機(jī)械臂機(jī)構(gòu)、柔性手爪機(jī)構(gòu)(1)、RGBD攝像頭(2)和控制臺(tái)，所述機(jī)械臂機(jī)構(gòu)包括第一機(jī)械臂(3)和第二機(jī)械臂(4)；

所述第一機(jī)械臂(3)的第一端與安裝在機(jī)械臂塔臺(tái)(5)上的第一舵機(jī)的輸出軸固定連接，所述第一機(jī)械臂(3)的第二端通過第一機(jī)械關(guān)節(jié)與所述第二機(jī)械臂(4)的第一端連接，所述第二機(jī)械臂(4)的第二端通過第二機(jī)械關(guān)節(jié)與所述柔性手爪機(jī)構(gòu)(1)連接，所述第一機(jī)械關(guān)節(jié)和所述第二機(jī)械關(guān)節(jié)分別設(shè)有第二舵機(jī)和第三舵機(jī)，所述第一舵機(jī)、所述第二舵機(jī)和所述第三舵機(jī)分別與所述控制臺(tái)電連接；

所述柔性手爪機(jī)構(gòu)(1)包括柔性指關(guān)節(jié)機(jī)構(gòu)和用于控制所述柔性指關(guān)節(jié)機(jī)構(gòu)抓取動(dòng)作的手爪舵機(jī)(6)，所述柔性指關(guān)節(jié)機(jī)構(gòu)包括三個(gè)呈包絡(luò)狀的柔性指(7)，且每一個(gè)所述柔性指(7)與水果接觸的一側(cè)設(shè)有柔性薄膜壓力傳感器(8)，所述柔性薄膜壓力傳感器(8)和所述手爪舵機(jī)(7)分別與所述控制臺(tái)電連接；

所述RGBD攝像頭(2)固定安裝在云臺(tái)(9)上，所述云臺(tái)(9)通過支架(10)與所述機(jī)械臂塔臺(tái)(5)連接，且所述RGBD攝像頭(2)和所述云臺(tái)(9)分別與所述控制臺(tái)電連接；

所述控制臺(tái)包括控制模塊和水果成熟度辨別模塊，所述水果成熟度辨別模塊利用訓(xùn)練好的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述RGBD攝像頭(2)采集的水果圖片進(jìn)行識(shí)別，并將識(shí)別結(jié)果發(fā)送至所述控制模塊，所述控制模塊根據(jù)所述識(shí)別結(jié)果和所述RGBD攝像頭(2)采集的水果圖片控制所述第一舵機(jī)、所述第二舵機(jī)、所述第三舵機(jī)和所述手爪舵機(jī)(6)轉(zhuǎn)動(dòng)，完成對(duì)目標(biāo)成熟水果的抓取動(dòng)作，同時(shí)所述控制模塊接收所述柔性薄膜壓力傳感器(8)發(fā)送的傳感數(shù)據(jù)，并根據(jù)所述傳感數(shù)據(jù)調(diào)整所述手爪舵機(jī)(6)的轉(zhuǎn)動(dòng)。

2.根據(jù)權(quán)利要求1所述的一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，訓(xùn)練好的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型通過以下步驟得到：

步驟一：獲取同一類水果的圖片并對(duì)已成熟水果的圖片進(jìn)行標(biāo)注，制作得到訓(xùn)練數(shù)據(jù)集；

步驟二：對(duì)所述訓(xùn)練數(shù)據(jù)集中的圖片進(jìn)行降噪處理；

步驟三：使用Tensorflow框架搭建LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟四：使用降噪處理后的訓(xùn)練數(shù)據(jù)集對(duì)搭建的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，搭建的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型具體結(jié)構(gòu)為：

第一層，卷積層，卷積核的大小為100x100x64，步長為1；

第二層，池化層，池化區(qū)間為50x50，步長為1；

第三層，卷積層，卷積核的大小為50x50x128步長為1；

第四層，池化層，池化區(qū)間為25x25步長為1；

第五層，全連接層1；

第六層，全連接層2。

4.根據(jù)權(quán)利要求2或3所述的一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，

所述訓(xùn)練數(shù)據(jù)集的準(zhǔn)確率達(dá)到95％以上為合格。

5.根據(jù)權(quán)利要求1或2所述的一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，所述水果成熟度辨別模塊利用訓(xùn)練好的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述RGBD攝像頭(2)采集的水果圖片進(jìn)行識(shí)別時(shí)，包括以下步驟：

獲取所述RGBD攝像頭(2)采集的水果圖片；

對(duì)獲取的水果圖片進(jìn)行降噪處理；

利用訓(xùn)練好的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)降噪處理后的水果圖片進(jìn)行識(shí)別。

6.根據(jù)權(quán)利要求1或2所述的一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，

其中一個(gè)所述柔性指(7)呈弧狀，其余兩個(gè)所述柔性指(7)呈鰭條狀。

7.根據(jù)權(quán)利要求1或2所述的一種具有水果成熟度辨別功能的機(jī)器人手臂裝置，其特征在于，

所述控制臺(tái)還包括蓄電模塊，所述蓄電模塊用于為所述RGBD攝像頭(2)、所述所述第一舵機(jī)、所述第二舵機(jī)、所述第三舵機(jī)、所述手爪舵機(jī)(6)、所述控制臺(tái)和所述柔性薄膜壓力傳感器(8)供電。