[發明專利]基于PER-DDQN的外骨骼助力可移動搬運系統控制方法

有效

• 申請號: 202110398846.5
• 申請日: 2021-04-12
• 公開（公告）號: CN113103210B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 唐昊;莫佳;王彬;譚琦;周雷
• 申請（專利權）人: 合肥工業大學
• 主分類號: B25J9/00
• 分類號: B25J9/00;B25J9/16;B25J5/00
• 代理公司: 合肥晨創知識產權代理事務所(普通合伙) 34162
• 代理人: 康培培

1.基于PER-DDQN的外骨骼助力可移動搬運系統控制方法，其特征在于，該方法以實際生產搬運場景為背景，在工件隨機到達的多品類生產線中，搬運工人在外骨骼設備動力輔助及移動底盤的移動輔助下重復進行工件搬運作業，實現對傳送帶上工件的即時分倉存儲，依據搬運系統的優化目標對系統最優策略進行求解，具體包括以下步驟，

步驟1、確定搬運系統的系統組成，將整個系統模型分為：生產線基本物理模型、搬運過程模型以及生產線搬運工人的主客觀肌體疲勞評價模型；

所述步驟1包括，

步驟1.1、依據工廠實際生產搬運場景，建立外骨骼設備助力下的可移動搬運系統物理模型，主要包括：產品生產線、外骨骼助力設備、全方位可移動底盤；

步驟1.2、考慮生產線搬運工人的肌體疲勞變化情況，建立生產線搬運工人的主客觀疲勞評價模型，在主觀上基于醫學Brog表將人體主觀疲勞狀態進行多級劃分，明確各個疲勞等級所代表的疲勞感觀，在客觀上以搬運過程中主要發力肌群的表面肌電信號作為客觀依據，綜合分析主觀疲勞感觀與表面肌電信號數據的聯系，構建肌體疲勞綜合評價模型；

步驟1.3、將搬運系統一個典型搬運過程細分為抬起階段、平移階段、放下階段、返回階段、等待階段五個階段，搬起階段：搬運工人在搬運站點在外骨骼設備的動力輔助下將工件從撿取點搬起的過程；平移階段：搬運工人跟隨全方位移動底盤從搬運點前往倉庫的過程；卸載階段：搬運工人將工件放置在倉庫，進行分類存儲的過程；返回階段：搬運工人從倉庫返回搬運點的過程；等待階段：搬運工人從返回到搬運站點至開啟下一次搬運的中間等待過程，包括電池電量低于警戒值的換電池工作、等待下一個工件到達、疲勞越界后的休息過程三個部分；

步驟2、確定搬運模型中系統的狀態空間及動作空間；

步驟3、確定系統約束條件；

步驟4、確定系統決策時刻；

步驟5、確定系統總體優化目標；

步驟6、依據實際生產環境中存在的代價確定仿真系統代價組成；

步驟7、在經驗回放機制中引入優先級，通過頻繁更新去衡量信息量，采用帶有優先經驗回放的深度Q學習PER-DDQN算法進行策略求解，依據函數、參數更新公式對深度神經網絡參數進行更新。

2.如權利要求1所述的基于PER-DDQN的外骨骼助力可移動搬運系統控制方法，其特征在于，所述步驟2包括以下，

步驟2.1、確定搬運系統的聯合狀態：考慮產品品種信息Z、實時搬運階段P、搬運工人實時疲勞狀態F、設備實時剩余電量E、疲勞越界標志C對系統動作選擇影響，將五個狀態作為系統聯合狀態，即定義S_Z,P,F,E,C為系統的聯合狀態；

步驟2.2、確定搬運系統的動作：將外骨骼設備助力大小ω、全方位移動底盤移動速度v作為系統的聯合動作，在選擇不同的外骨骼設備助力大小及全方位移動底盤移動速度時，系統將由當前狀態轉換到另一個狀態，定義在狀態s_z,p,f,e,c進行一步決策采取的動作組合為

3.如權利要求1所述的基于PER-DDQN的外骨骼助力可移動搬運系統控制方法，其特征在于，所述步驟3系統約束條件為：1)在疲勞等級f_cur達到一定警戒標準F_Limit時，為避免搬運工人因疲勞造成肌肉損傷，默認在當前時刻及后續需要外骨骼設備動力輔助時由外骨骼設備提供所有助力，即由外骨骼設備托起整個工件負重，并在返回搬運站點后休息固定時間t_rest；2)在實時剩余電量e_cur低于最低電量要求E_limit時，需要在本次搬運結束返回搬運站點后進行電池更換工作。

4.如權利要求1所述的基于PER-DDQN的外骨骼助力可移動搬運系統控制方法，其特征在于，所述系統決策時刻為：

1)搬運階段切換的時刻，即5個搬運階段的轉換時刻；

2)平移階段中搬運工人疲勞狀態每變化Δf的時刻，Δf為定值，以便按照要求即時調整外骨骼的助力大小減緩并改善生產線搬運工人的肌體疲勞情況，調節全方位移動底盤移動速度改變整個搬運過程的階段性時間分布；

3)搬運工人疲勞狀態超過警戒值的時刻。