[發明專利]一種基于深度強化學習的電路自動3D打印方法

在審

• 申請號: 202210129529.8
• 申請日: 2022-02-11
• 公開（公告）號: CN114474742A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 李隆球;張巖;喬菁;周德開;張廣玉;田回春
• 申請（專利權）人: 哈爾濱工業大學;哈爾濱工業大學重慶研究院
• 主分類號: B29C64/386
• 分類號: B29C64/386;B33Y50/00
• 代理公司: 北京君恒知識產權代理有限公司 11466
• 代理人: 王恒

本發明涉及智能制造技術領域，更具體的說是一種基于深度強化學習的電路自動3D打印方法，該方法包括以下步驟：S1：將3D打印機噴頭作為Agent在建立的模擬環境中訓練更新深度神經網絡；Agent是指智能體；S2：循環執行Agent的強化學習過程，并訓練深度神經網絡，循環完成后保存神經網絡模型，開啟攝像頭，跳轉至下一步；S3：攝像頭傳遞打印實時環境圖像信息，進行圖像處理映射出模擬環境，Agent加載訓練好的深度神經網絡模型，根據實時探測的狀態實施打印。先完成對3D打印機訓練構建強化學習模型更新深度神經網絡的過程，再具體到不同實際情況進行自動化打印，可以解決3D打印裝備利用深度強化學習實現電路的自動化打印過程。

技術領域

本發明涉及智能制造技術領域，更具體的說是一種基于深度強化學習的電路自動3D打印方法。

背景技術

3D打印技術能夠根據定制化的設計模型快速地實現結構成型。3D打印技術利用從無到有、自下而上式的材料累加原理，擺脫傳統制造方式的約束與限制，將傳統無法實現的復雜結構件制造變為可能。目前3D打印機技術依賴于設計模型的輸入，然后根據既定的模型路徑進行成型制造。隨著功能結構一體化的發展，對功能器件3D打印過程還需要人工對工藝流程的嚴格把控與操作，無法實現在未知布局與環境下的電路自動規劃與打印過程。

新興的深度強化學習能夠指導機器裝備在未知環境下進行自主的智能化操作。從根本上說，3D打印機屬于工業機器人的一種。然而當前基于深度強化學習算法用于指導的工業機器人主要集中在無人車、無人機和機械臂等，主要用于完成空間運動控制。而對于實現功能型電路的3D打印，不僅僅需要規劃打印頭的運動，還需要考慮復雜的制造工藝過程從而配合完成電路的按需制造成型。目前仍然缺乏基于深度強化學習考慮電路3D打印工藝過程的方法研究。

發明內容

本發明的目的是提供一種基于深度強化學習的電路自動3D打印方法，可以解決3D打印裝備利用深度強化學習實現電路的自動化打印過程。

本發明的目的通過以下技術方案來實現：

一種基于深度強化學習的電路自動3D打印方法，該方法包括以下步驟：

S1：將3D打印機噴頭作為Agent在建立的模擬環境中訓練更新深度神經網絡；Agent是指智能體；

S2：循環執行Agent的強化學習過程，并訓練深度神經網絡，循環完成后保存神經網絡模型，開啟攝像頭，跳轉至下一步；

S3：攝像頭傳遞打印實時環境圖像信息，進行圖像處理映射出模擬環境，Agent加載訓練好的深度神經網絡模型，根據實時探測的狀態實施打印。

進一步的，一種基于深度強化學習的電路自動3D打印方法，該方法詳細包括以下步驟：

S11：將3D打印機噴頭作為Agent在建立的模擬環境中感知局部狀態s_i，選取執行運動a_i和規劃打印路徑；

S12：Agent執行選擇的動作a_i后更新系統得到新的狀態s_i+1，判斷Agent是否與邊界區域發生碰撞，碰撞則表示打印失敗用布爾值c_i＝False表示，否則布爾值c_i＝True，并給出對應的獎勵值r_i；

S13：將具有馬爾可夫性質的序列集合(s_i,a_i,r_i,s_i+1,c_i)保存起來，用來訓練更新建立的深度神經網絡，訓練更新神經網絡的方法可以采用深度Q網絡算法DQN、雙重深度Q網絡算法Double DQN或者對偶深度Q網絡算法Dueling DQN；