[發明專利]基于PER-DDQN的外骨骼助力可移動搬運系統控制方法

有效

• 申請號: 202110398846.5
• 申請日: 2021-04-12
• 公開（公告）號: CN113103210B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 唐昊;莫佳;王彬;譚琦;周雷
• 申請（專利權）人: 合肥工業大學
• 主分類號: B25J9/00
• 分類號: B25J9/00;B25J9/16;B25J5/00
• 代理公司: 合肥晨創知識產權代理事務所(普通合伙) 34162
• 代理人: 康培培

本發明屬于控制技術領域，更具體地，是以有外骨骼設備助力及全方位移動平臺的工廠工件可移動搬運場景為控制背景，考慮搬運過程中外骨骼助力設備助力大小和移動平臺移動速度兩個因素對生產線安全、生產效率及生產成本的影響，提出一種基于PER?DDQN的外骨骼助力可移動搬運系統控制方法。本發明是在常規生產環境下，基于有外骨骼設備助力及全方位移動平臺的工廠工件可移動搬運場景，考慮搬運過程中外骨骼助力設備助力大小和移動平臺移動速度兩個因素對生產線搬運安全、生產效率及生產成本的影響，使用優先經驗回放機制的DDQN學習網絡對系統最優策略進行求解，獲取各個系統狀態下最優或較優動作策略的控制方法。

技術領域

本發明屬于控制技術領域，更具體地，是以有外骨骼設備助力及全方位移動平臺的工 廠工件可移動搬運場景為控制背景，考慮搬運過程中外骨骼助力設備助力大小和移動平臺 移動速度兩個因素對生產線安全、生產效率及生產成本的影響，提出一種基于PER-DDQN 的外骨骼助力可移動搬運系統控制方法。

背景技術

在各種精細化及大型設備操作的場合，工業機器人也在扮演著主要角色，在減輕生產 線操作工人負擔，提升產線規范性及效率方面有著不可替代的作用。

隨著機器人技術的不斷發展與更新迭代，其應用領域也在不斷擴展，類如：生物醫療、 工業生產、智能家居、智能辦公等。機器人實體也逐漸由龐大轉變為相對輕量化以適用各 種小規模場景要求，可穿戴式機器人逐漸登上各個應用場景的舞臺。可穿戴式外骨骼機器 人是將機電一體化、生物力學、人體傳感設備、步態分析與行為預測等多領域相結合而形 成的高科技產物，是多方技術結合的產業結晶。隨著科技水平的提高，為提升整體生產效 率會需要通過機器人與人的協同作業的方式完成工作任務。

現階段，穿戴式外骨骼設備主要推廣于軍事、醫療恢復等方面，在工業實際場景的應 用范圍其實不廣，并且可穿戴式外骨骼設備在實際應用中也存在許多的限制與技術難題， 因此如何提高外骨骼設備與使用者的交互性，增強兩者之間的協同性成為了工業智能的研 究要點。在當前工業機器人(如機械臂、機械抓手等)的調度與優化控制中，強化學習Q學習算法得到了廣泛應用，并且所得的優化策略在實際運行中也有良好效果。但常規Q學習算法在應用于復雜場合時存在一些缺陷，如存在“維度災難”、需要對狀態進行離散化 處理、連續數據之間的關聯性大等問題，在某些特殊情況下的實際效果不理想。

發明內容

為了提高工業生產環境中人-外骨骼設備的協同性，提升整個生產系統的智能化水平， 本發明針對現有技術，從人體疲勞為主要切入點，構建人體疲勞模型，從主要層面提升外 骨骼設備與使用者的協同性，另外以生產效率與效益的最終目標，在考慮使用者的疲勞前 提下，合理調節外骨骼設備的輔助動力大小及可移動底盤的移動速度。針對強化學習存在 的不足，使用帶有優先經驗回放的Double DQN算法(PER-DDQN)，利用卷積神經網絡來逼 近行為值函數，通過求解目標Q網絡與當前Q網絡的Q值差異進行反向傳播，調整當前Q網絡的參數。

本發明為解決技術問題采用如下的技術方案：

基于PER-DDQN的外骨骼助力可移動搬運系統控制方法，該方法以實際生產線搬運場 景為基本原型，在工件隨機到達的多品類生產線中，搬運工人在外骨骼設備動力輔助及移 動底盤的移動輔助下完成工件搬運工作，實現對工件的即時分倉存儲，按照整個生產搬運 環境的優化目標進行控制決策求解，具體包括以下步驟，

步驟1、確定搬運系統的系統組成，將整個系統分為：生產線基本物理模型、搬運過程模型以及生產線搬運工人的主客觀肌體疲勞評價模型；

步驟2、依據系統控制要求，確定搬運模型中系統的狀態空間及動作空間；

步驟3、根據系統運行流程，確定系統總體約束條件；

步驟4、確定系統決策時刻；

步驟5、基于搬運效率、搬運安全性、搬運成本等因素，確定系統總體優化目標；