[發(fā)明專(zhuān)利]基于激光測(cè)距與深度強(qiáng)化學(xué)習(xí)的機(jī)械手臂控制系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011525302.2
• 申請(qǐng)日: 2020-12-22
• 公開(kāi)（公告）號(hào): CN112454368B
• 公開(kāi)（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 劉文忠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 四川輕化工大學(xué)
• 主分類(lèi)號(hào): B25J9/16
• 分類(lèi)號(hào): B25J9/16;B25J19/00
• 代理公司: 北京匯捷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11531
• 代理人: 盛君梅

1.一種基于激光測(cè)距與深度強(qiáng)化學(xué)習(xí)的機(jī)械手臂控制系統(tǒng)，包括由底座(101)、基座(102)、基座臂(103)、后臂(104)、前臂(106)、抓握接口(107)組成的機(jī)械手臂主體和中央控制器，基座(102)下面有一個(gè)步進(jìn)電機(jī)，控制基座（102）的轉(zhuǎn)動(dòng)；基座臂(103)與后臂(104)接合轉(zhuǎn)軸連接一個(gè)步進(jìn)電機(jī)并由其控制后臂(104)的轉(zhuǎn)動(dòng)；前臂(106)與后臂(104)接口轉(zhuǎn)軸連接一個(gè)步進(jìn)電機(jī)并由其控制前臂(106)的轉(zhuǎn)動(dòng)，機(jī)械手臂主體還具有抓持結(jié)構(gòu)；前臂(106)的抓握接口(107)上端、前臂(106)與后臂(104)的轉(zhuǎn)軸附近安裝有角度傳感裝置(105)；后臂(104)與基座(102)轉(zhuǎn)軸附近處也安裝了角度傳感裝置(105)；其特征在于，所述中央控制器共有三臺(tái)步進(jìn)電機(jī)(201)，一臺(tái)AC電源(202)，三臺(tái)驅(qū)動(dòng)器(203)，一塊arduinomega控制板(204)，一塊樹(shù)莓4控制板(205)、一個(gè)樹(shù)莓4攝像頭(206)，一個(gè)激光測(cè)距儀(207)，四個(gè)角度傳感器(208)和一臺(tái)計(jì)算機(jī)主機(jī)(209)；步進(jìn)電機(jī)(201)與驅(qū)動(dòng)器(203)連接，控制每個(gè)關(guān)節(jié)旋轉(zhuǎn)角度與速度；驅(qū)動(dòng)器(203)連接AC電源(202)和arduinomega控制板(204)；arduinomega控制板(204)與驅(qū)動(dòng)器(203)相連；計(jì)算機(jī)主機(jī)(209)連接arduinomega控制板(204)；激光測(cè)距儀(207)、角度傳感器(208)通過(guò)數(shù)據(jù)線與計(jì)算機(jī)主機(jī)(209)相連；樹(shù)莓4控制板(205)與可編程攝像頭連接，計(jì)算機(jī)主機(jī)(209)連結(jié)樹(shù)莓4控制板(205)；

采用上述控制系統(tǒng)的方法，包括控制步驟、目標(biāo)定位步驟和分析流程步驟，其中控制步驟包括：

S1：?jiǎn)?dòng)計(jì)算機(jī)軟件，選擇要抓取的目標(biāo)名稱(chēng)；

S2：對(duì)關(guān)節(jié)連接狀態(tài)進(jìn)行初始化；打開(kāi)角度傳感器，然后把機(jī)械手的前臂抬到最高位置，然后把后臂豎直，使后臂與底座成90度角，最后將基座旋轉(zhuǎn)到最右邊；打開(kāi)抓手或者關(guān)閉真空吸盤(pán)；最右邊的籃筐里裝挑選出的東西；

S3：計(jì)算機(jī)通過(guò)軟件將初始目標(biāo)選擇為籃框，并執(zhí)行圖像捕捉；定位初始化位置為籃框，將取得的關(guān)節(jié)旋轉(zhuǎn)角度與速度參數(shù)保存在計(jì)算機(jī)中；這些參數(shù)將在后面的分揀操作中使用；

S4：對(duì)連接狀態(tài)進(jìn)行初始化；慢速旋轉(zhuǎn)底座至最左側(cè)；轉(zhuǎn)動(dòng)時(shí)開(kāi)啟程控?cái)z像頭；每次轉(zhuǎn)動(dòng)一度，暫停一次，攝像頭抓拍一次；捕捉圖像數(shù)據(jù)通過(guò)數(shù)據(jù)線返回到中央控制器的計(jì)算機(jī)上；

S5：計(jì)算機(jī)上的深度學(xué)習(xí)算法對(duì)圖像進(jìn)行目標(biāo)定位分析，確定是否需要抓取目標(biāo)；當(dāng)圖像中沒(méi)有目標(biāo)時(shí)，繼續(xù)向左旋轉(zhuǎn)底座；

S6：如果目標(biāo)在圖像中，則執(zhí)行圖像捕捉；根據(jù)深度強(qiáng)化學(xué)習(xí)擬合的電機(jī)旋轉(zhuǎn)速度和角度，調(diào)用計(jì)算機(jī)控制程序，驅(qū)動(dòng)各關(guān)節(jié)電機(jī)的旋轉(zhuǎn)；關(guān)節(jié)電機(jī)的驅(qū)動(dòng)順序是：底座電機(jī)，第一關(guān)節(jié)電機(jī)，第二關(guān)節(jié)電機(jī)；

S6: 攝像頭抓拍，重復(fù)S5步驟；當(dāng)激光測(cè)距儀發(fā)射的激光與目標(biāo)重合，且測(cè)到距離小于抓手高度時(shí)，打開(kāi)抓手控制程序，驅(qū)動(dòng)抓手抓住目標(biāo)；若抓握機(jī)構(gòu)為真空吸盤(pán)，當(dāng)測(cè)得的距離小于吸盤(pán)可吸力距離時(shí)，開(kāi)啟吸盤(pán)控制程序，驅(qū)動(dòng)吸盤(pán)吸住目標(biāo)；

S7：開(kāi)啟計(jì)算機(jī)程序，驅(qū)動(dòng)第一關(guān)節(jié)和第二關(guān)節(jié)的馬達(dá)，使兩個(gè)關(guān)節(jié)回到初始狀態(tài)；

S8：打開(kāi)激光測(cè)距儀和攝像頭，如果抓握結(jié)構(gòu)抓住了目標(biāo)，目標(biāo)就會(huì)阻擋激光測(cè)距儀發(fā)出的激光；若傳回的激光測(cè)距值小于抓手或吸盤(pán)力高度，且攝像頭傳回圖像中激光定位于目標(biāo)，則表明抓握成功，否則表明抓握失敗；

S9：如果成功抓握，計(jì)算機(jī)驅(qū)動(dòng)基座轉(zhuǎn)向最右邊；

S10：根據(jù)前后手臂關(guān)節(jié)的現(xiàn)有度數(shù)，將電機(jī)調(diào)整到籃框定位參數(shù)的初始角度；然后計(jì)算機(jī)驅(qū)動(dòng)抓握結(jié)構(gòu)松開(kāi)，將抓握到的物體放入籃中，完整一次分揀；

目標(biāo)定位步驟，包括：

SA1：在進(jìn)行分揀任務(wù)之前，收集常用的分揀物品圖像，并進(jìn)行訓(xùn)練和測(cè)試；優(yōu)化開(kāi)放源代碼模型FastR-CNN1，是用于訓(xùn)練分揀物品的圖像模型；

SA2：在進(jìn)行分類(lèi)任務(wù)之前，先用攝像頭拍攝激光測(cè)距儀投射出的紅色激光圖像，并進(jìn)行訓(xùn)練和測(cè)試；過(guò)優(yōu)化的開(kāi)源模型FastR-CNN2，用于對(duì)標(biāo)記的紅色激光圖像進(jìn)行訓(xùn)練；

SA3：在進(jìn)行分類(lèi)時(shí)，攝像頭拍下鏡頭正面的圖像，然后傳給計(jì)算機(jī)；利用訓(xùn)練過(guò)的FastR-CNN模型1在圖像中定位目標(biāo)；用紅色方框標(biāo)記圖像中的目標(biāo)物體；

SA4：激光測(cè)距儀激光頭投射紅色激光，紅色激光投影上有一個(gè)豆粒大小的紅色高亮顯示區(qū)域；攝像頭再次拍下鏡頭正面的照片，然后傳給計(jì)算機(jī)；

SA5：利用訓(xùn)練過(guò)的FastR-CNN2模型實(shí)現(xiàn)激光區(qū)域的定位；用藍(lán)框在圖像上標(biāo)記激光區(qū)域；

SA6：計(jì)算機(jī)軟件將紅色和藍(lán)色方框區(qū)域進(jìn)行比較；如藍(lán)框區(qū)域與紅框標(biāo)志區(qū)域有50%以上重疊，判斷目標(biāo)物體在抓手或吸盤(pán)下方，可執(zhí)行抓取任務(wù)；如果兩個(gè)區(qū)域不重疊，執(zhí)行強(qiáng)化分析學(xué)習(xí)分析流程步驟。