[發明專利]基于強化學習的雙激光器路徑缺陷自適應調整方法

有效

• 申請號: 202110837604.1
• 申請日: 2021-07-23
• 公開（公告）號: CN113442442B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 劉林升;王祎;范永剛;崔紫微
• 申請（專利權）人: 大連理工大學
• 主分類號: B29C64/393
• 分類號: B29C64/393;B33Y50/02;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪

1.一種基于強化學習的雙激光器路徑缺陷自適應調整方法，其特征在于，具體步驟如下：

步驟一、建立強化學習模型

將強化學習系統與3D打印的路徑規劃系統進行元素映射，形成對應關系：將強化學習中的智能體作為激光頭，二維切片層作為可交互環境，狀態則是激光頭在當前切片層中的所處的位置，動作是激光頭選擇的下一步所處的位置；激光頭處于某一狀態時，通過觀察當前切片層獲取信息，作出決策，決策分為繼續打印和抬起激光頭，而繼續打印這一行動又具體分為繼續直行和轉彎；激光頭做出決策后，環境的信息被更新，同時根據激光頭做出的決策給予某個數值的獎勵或懲罰；根據環境給出的反饋以及觀察到的信息，激光頭會做出下一個決策；如此循環，在激光頭和環境不斷交互的過程中，不斷學習如何尋找到最優路徑；

其中：

設置獎勵與懲罰條件：條件一：在實際打印中能夠走直線的情況就盡量減少轉彎，在3D打印過程中，轉彎會造成轉角處材料堆積的情況；因此當激光頭連續朝著一個方向運動的時候會給予獎勵，當激光頭的下一個行為為轉彎時設置懲罰；條件二：在打印中如果激光頭經常啟停同樣會影響到最終打印的模型成型效果不好，因此需要減少激光頭的啟停次數，當激光頭的動作發生抬起時需要進行懲罰；

通過策略梯度算法進行動作選擇：定義一個神經網絡，將狀態和動作當作神經網絡的輸入，將神經網絡選擇的行為反向傳遞，使之下次被選擇的可能性增加，如果輸出的動作獲得懲罰，那輸出的動作可能性增加的幅度隨之被減低，如果輸出的動作獲得獎勵，那就在這次反向傳遞的時候加大力度，讓它下次被選中的可能性更大；設置一個記憶庫，每次更新的時候，都可以隨機抽取之前的經歷進行學習；

步驟二、在打印過程中實時捕捉缺陷

位于打印機上方的攝像機在打印時將每一層的打印情況實時地存儲為圖片形式，在檢測到缺陷存在時，給出信號，將產生缺陷時的那一層的打印情況以圖片的形式發出；

步驟三、進行缺陷自適應調整

將步驟二中獲得的圖像中缺陷部分和未打印部分結合獲得模型的輸入圖像，用步驟一種訓練好的強化學習模型對帶缺陷的打印情況圖形進行路徑規劃以實現動態的缺陷自適應補全；不斷循環完成最后無缺陷的打印。