[發明專利]一種基于深度強化學習的黃桃挖核機器人行為控制方法

有效

• 申請號: 201711102908.3
• 申請日: 2017-11-10
• 公開（公告）號: CN107944476B
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 葛宏偉;林嬌嬌;孫亮;趙明德
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F17/50;B25J9/16
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

本發明屬于計算機應用及人工智能技術領域，涉及一種基于深度強化學習的黃桃挖核機器人行為控制策略。針對傳統的機械控制方法難以有效的對黃桃挖核機器人進行行為控制問題，本發明提出了一種基于深度強化學習的方法對具有視覺功能的黃桃挖核機器人進行行為控制，以期提高其工作性能。本專利發揮了深度學習的感知能力和強化學習的決策能力，使機器人能夠利用深度學習識別桃核狀態，進而，通過強化學習的方法指導單片機控制電機挖除桃核，以最終完成挖核任務。本發明對于利用機器代替人工勞力的挖核任務具有優勢。

技術領域

本發明屬于計算機應用及人工智能技術領域，涉及一種基于深度強化學習的黃桃挖核機器人行為控制方法。

背景技術

隨著社會的發展和技術的進步，勞動力短缺以及勞動力價格的不斷攀升等社會問題的出現，極大的促進了工業機器人的研究、應用與普及。近年來，工業機器人的研究和應用一直是科學研究和社會關注的熱點之一。但由于工業機器人要求較高的靈巧性、較高的穩定性、較高的環境容忍度等技術因素，一直困擾著工業機器人的研發和應用。早期的工業機器人是機電一體化的產物，而隨著市場對工業機器人性能的要求不斷提高，使得計算機技術、圖像識別技術等更高層次的技術不斷的融入到工業機器人中，從而提高工業機器人的性能。具有視覺功能的工業機器人可以完成普通工業機器人難以完成的復雜工作，對于代替勞動力極具優勢。

目前帶有視覺功能的工業機器人還不是非常普遍，工業機器人一般是通過開環的機械臂、機械手等一系列機械結構，模擬人的動作，來代替勞動力工作，實現社會生產。工業機器人的工作過程一般是采集信息、處理信息、執行動作、反饋信息等步驟。其中，采集信息、反饋信息主要依靠傳感器，在特殊的環境下，視覺傳感器便顯得格外重要。甚至某些工作離開了攝像頭就沒法實現。我國的工業機器人研發主要是由中科院沈陽自動化研究所、哈爾濱工業大學、清華大學、上海交通大學等機構和高校為主，并成立了相關的工業機器人研究基地，已經取得了令人矚目的成績。如哈工大研究所研發的碼垛機器人，已經取得了非常好的效果，并已投產使用。哈工大機器人集團還研制了其他領域的工業機器人，都取得了非常好的成績。沈陽新松自動化有限公司研發的通用工業機器人，打破了許多國際壟斷技術和技術封鎖，代替了大量的進口工業機器人，許多技術填補了我國的多項空白。許多產品成為美國知名企業的重點采購對象。常州銘賽機器人科技有限公司研發的基于機器視覺的點焊機器人，也取得了顯著的成績。目前也大量應用于電路板焊制等工作上，制作電路板的精度非常高，質量遠遠超過人工制作的電路板，產生了非常大的經濟效益和社會效益。

國際上，日本的著名學者S.Murakami研究設計了一款基于機器視覺的焊接機器人，它的原理是采用圖像識別技術進行識別，并使用神經網絡算法對處理過的圖像進行識別，并識別得到要焊接的形狀，從而可以有效地進行跟蹤焊接，大大提高了焊接的精準度。澳大利亞的西部大學研發了一款工業機器人，機器人具有六自由度，它的原理是使用多目攝像頭進行空間定位，通過攝像頭數據進行3D重建，生成空間坐標，得到景深數據，并目標物進行圖像識別，得到目標物具體的位置，可以進行汽車的裝配等工作，其精確度非常高。此工業機器人甚至根據不間斷的拍照計算的空間坐標系得出機器人目前的位置。目前許多國際大公司都使用工業機器人進行裝配，尤其是許多汽車生產公司?？梢酝ㄟ^多目攝像頭進行三維空間生成和模式識別，從而可以進行密封的汽車裝配。瑞士的SIG公司研發了一種基于機器視覺的能夠在傳送帶自動分揀貨物的機器人，可以適應高速狀態，實現快速的分揀。其可以通過圖像進行定位，可以取下傳送帶上的隨機物品，同時并擺放到指定的位置。