[發明專利]一種基于人工勢場與強化學習的人機共融流水線實現方法

在審

• 申請號: 202010328714.0
• 申請日: 2020-04-23
• 公開（公告）號: CN111515932A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 劉華山;應豐糠;江榮鑫;李祥健;程新;夏瑋;蔡明軍;陳榮川;梁健
• 申請（專利權）人: 東華大學
• 主分類號: B25J9/00
• 分類號: B25J9/00;B25J9/16
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊

本發明公開了一種基于人工勢場與強化學習的人機共融流水線實現方法，發明采用基于強化學習的A?DPPO算法規劃機器人運動軌跡，實際運行中，機器人以預定的最優軌跡執行動作，并具備以人工勢場為基礎的碰撞規避能力，同時采用視覺傳感器采集人的位置信息，經粒子濾波后由新陳代謝GM(1,1)模型推理人的行為意圖，根據不同的意圖決定機器人是否考慮人靠近機械臂帶來的排斥力的影響，從而決定機械臂是否采取規避動作，實現人?機器?環境的共融。

技術領域

本發明涉及一種基于人工勢場與強化學習的人機共融流水線實現方法，屬于工業流水線人機共融技術領域。

背景技術

隨著機器人技術的不斷發展成熟，其在工業領域的應用也愈加廣泛，相比人類勞動而言，工業機器人在面對繁瑣的流水線作業當中不會感知疲勞、不會失去興趣，并且極大地提高了流水線作業的精確度和工作效率，從而有效推動企業和社會生產力的發展。因此，機械自動化車間在世界各地、在各個行業領域都得到了迅速的發展。

但是，隨著人工智能等高新技術的相繼問世，人們不再局限于讓機器人執行單一的機械化操作，而是希望賦予機器人一定程度的“智慧”，使其能在沒有人的指令下執行作業，實現對環境的感知，進而通過自主學習做出決策的過程，從而使得機器人能適應復雜的非結構化環境，并不斷提升工作效率。其中，強化學習作為機器學習領域的一個分支，能促使機器人與環境交互，并通過獎勵與懲罰的機制促使其從中獲取累計獎勵最大的決策，從而實現系統的優化。

在這些背景下，人們希望能實現人與機器在同一環境下的協作，提出了“人機共融”的話題，這將進一步推進人、機器、環境之間的友好關系，促使制造業、服務業、運輸業等各個行業進入到全新的發展階段。

在保證機器人工作的精度和效率的前提下，為實現人機共融，首先必須保證人在與機器協作過程中的安全，在機器與人接觸時能區分人的動作意圖是“友善的協作”還是“將發生碰撞”，并采取相應動作。鑒于此，提出一種基于人工勢場、意圖推理和強化學習的自動化流水線人機協作實現方法。

發明內容

本發明要解決的技術問題是如何使機器人具備識別動作意圖以及規避碰撞的能力。

為了解決上述技術問題，本發明的技術方案是提供了一種基于人工勢場與強化學習的人機共融流水線實現方法，其特征在于，所述方法包括如下步驟：

步驟一：為避免實物調試中可能存在的物品損耗及不當動作造成的設備損壞，采用SolidWorks繪制設備3D模型，并在V-REP仿真環境中搭建1:1還原的流水線數字化虛擬系統；

步驟二：在V-REP虛擬環境中，采用基于強化學習的A-DPPO算法規劃第一機器人和第二機器人的運動軌跡；

步驟三：在V-REP中，將A-DPPO算法尋得的最優化運動軌跡保存為路徑path，在機械臂末端執行器添加dummy，并設置為tip，與path構成tip-target組，使得正常情況下，機械臂按照即定的最優路徑執行動作；

步驟四：在t時刻前的Δt時間內，視覺采集系統記錄人所處的位置狀態序列s1,s2...,st，由粒子濾波算法對該序列做平滑處理，消除噪聲干擾；采用新陳代謝GM(1,1)模型對經過平滑處理后的數據進行處理，得到包含t+1時刻的位置序列的預測值，分析得到t時刻位置狀態的平均變化率，通過比較后進行分類，推斷觀測對象的行為意圖；

步驟五：機械臂沿著預定的最優運動軌跡動作，基于觀測對象的行為意圖，決定機器人是否采取人工勢場法規避碰撞。

優選的，所述步驟一搭建了流水線1:1還原的數字化虛擬系統，包括：

兩臺機器人：

第一機器人①：選用KUKA LBR iiwa 7 R800，位于傳送帶首端，負責將物品抓放至傳送帶上；