[發明專利]基于深度強化學習的雙點漸進成形制造方法及裝置

在審

• 申請號: 202210410301.6
• 申請日: 2022-04-19
• 公開（公告）號: CN114757102A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 崔強;何夢兮;和四忠;楊道乾;李江山;喻川;西達思·蘇哈斯·帕維爾
• 申請（專利權）人: 貴州翰凱斯智能技術有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;B21D31/00;G06F113/10
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種基于深度強化學習的雙點漸進成形制造方法，其特征是，所述方法包括：

獲取待制造的三維模型并對所述三維模型進行分層獲取多個主工作路徑以及與每個所述主工作路徑對應的候選的多個支撐路徑，根據成形方向選擇初始的主工作路徑以及與所述初始的主工作路徑對應的一支撐路徑作為初始的當前主工作路徑和當前支撐路徑；

根據當前主工作路徑和選擇的當前支撐路徑在實際應用環境中分別循環控制主、從機器人的機械臂進行漸進成形，獲取與所述當前主工作路徑對應的成形曲面；

將所述成形曲面與目標曲面的偏差值作為狀態向量，應用預訓練的深度強化學習模型進行支撐策略的強化學習，循環輸出與下一主工作路徑對應的支撐路徑，并根據所述下一主工作路徑和與所述下一主工作路徑對應的所述支撐路徑循環更新所述當前主工作路徑和所述當前支撐路徑，直至完成所述三維模型的漸進成形。

2.如權利要求1所述的方法，其特征是，所述獲取待制造的三維模型并對所述三維模型進行分層獲取多個主工作路徑以及與每個所述主工作路徑對應的候選的多個支撐路徑，包括：

獲取待制造的三維模型，應用沿曲面偏移函數對所述三維模型以預設層厚沿成形方向進行分層，獲取第一預設數量的曲線路徑；

針對每個所述曲線路徑，以預設點間距劃分第二預設數量的離散點，并根據所述離散點生成與所述曲線路徑對應的主工作路徑；

針對每個所述主工作路徑，分別根據多個支撐策略獲取與所述主工作路徑對應的候選的多個所述支撐路徑，所述支撐策略為全局支撐策略、局部外圍支撐策略、局部正面支撐策略以及跟隨支撐策略的其中之一。

3.如權利要求1所述的方法，其特征是，在所述根據當前主工作路徑和選擇的所述支撐路徑在真實環境中控制機械臂進行漸進成形，獲取與所述當前主工作路徑對應的成形曲面之前，包括：

在Grasshopper中構建與待制造的所述三維模型的實際應用環境相符的數字仿真環境；

在所述數字仿真環境對所述三維模型進行仿真，結合仿真結果對所述深度強化學習模型進行訓練，獲取預訓練的所述深度強化學習模型。

4.如權利要求3所述的方法，其特征是，所述在所述數字仿真環境對所述三維模型進行仿真，并結合仿真結果對所述深度強化學習模型進行訓練，獲取預訓練的所述深度強化學習模型，包括：

根據成形方向選擇初始的主工作路徑作為當前仿真主工作路徑，并根據所述當前仿真主工作路徑從候選的多個支撐路徑中隨機選擇其中一個作為初始的當前仿真支撐路徑；

根據所述當前仿真主工作路徑和所述當前仿真支撐路徑應用所述數字仿真環境進行仿真成形，獲取與所述當前仿真主工作路徑對應的仿真成形曲面和仿真成形曲面回彈值；

將所述仿真成形曲面與目標曲面的偏差值作為狀態向量對輸入所述深度強化學習模型進行支撐策略的強化學習，并結合所述仿真成形曲面回彈值，更新與下一仿真主工作路徑對應的仿真支撐路徑和當前回報值；

根據所述下一仿真主工作路徑和對應的仿真支撐路徑分別對所述當前仿真主工作路徑和所述當前仿真支撐路徑進行循環更新，根據更新后的所述當前仿真主工作路徑和所述當前仿真支撐路徑循環控制機械臂進行漸進成形，循環更新所述仿真成形曲面；

根據更新的所述仿真成形曲面與所述目標曲面循環更新所述狀態向量，根據更新的所述狀態向量和所述回報值調整所述深度強化學習模型的模型參數，直至滿足所述深度強化學習模型的收斂條件。

5.如權利要求4所述的方法，其特征是，所述根據所述當前仿真主工作路徑和所述當前仿真支撐路徑應用所述數字仿真環境進行仿真成形，獲取與所述當前仿真主工作路徑對應的仿真成形曲面和仿真成形曲面回彈值，包括：

按照機器人語法規則將所述當前仿真主工作路徑和所述當前仿真支撐路徑的離散點的坐標和方向轉化為機器人運動指令；

使用仿真軟件構建板材形變的仿真模型，根據所述機器人運動指令進行仿真成形，返回與所述當前仿真主工作路徑對應的仿真成形曲面和仿真成形曲面回彈值。