[發明專利]一種基于深度強化學習的電路自動3D打印方法

在審

• 申請號: 202210129529.8
• 申請日: 2022-02-11
• 公開（公告）號: CN114474742A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 李隆球;張巖;喬菁;周德開;張廣玉;田回春
• 申請（專利權）人: 哈爾濱工業大學;哈爾濱工業大學重慶研究院
• 主分類號: B29C64/386
• 分類號: B29C64/386;B33Y50/00
• 代理公司: 北京君恒知識產權代理有限公司 11466
• 代理人: 王恒

1.一種基于深度強化學習的電路自動3D打印方法，其特征在于：該方法包括以下步驟：

S1：將3D打印機噴頭(1)作為Agent(2)在建立的模擬環境中訓練更新深度神經網絡；

S2：循環執行Agent(2)的強化學習過程，并訓練深度神經網絡，循環完成后保存神經網絡模型，開啟攝像頭(4)，跳轉至下一步；

S3：攝像頭(4)傳遞打印實時環境圖像信息，進行圖像處理映射出模擬環境，Agent(2)加載訓練好的深度神經網絡模型，根據實時探測的狀態實施打印。

2.根據權利要求1所述的一種基于深度強化學習的電路自動3D打印方法，其特征在于：所述S1具體包括以下步驟：

S11：將3D打印機噴頭(1)作為Agent(2)在建立的模擬環境中感知局部狀態s_i，選取執行運動a_i和規劃打印路徑；

S12：Agent(2)得到更新的狀態s_i+1，并判斷是否與邊界區域發生碰撞，碰撞則表示打印失敗用布爾值c_i＝False表示，否則c_i＝True，并給出對應的獎勵值r_i；

S13：保存序列(s_i,a_i,r_i,s_i+1,c_i)來訓練更新深度神經網絡。

3.根據權利要求1所述的一種基于深度強化學習的電路自動3D打印方法，其特征在于：所述S3具體包括以下步驟：

S31：攝像頭(4)傳遞打印實時環境圖像信息，基于計算機視覺的圖像處理，構建映射出模擬環境；

S32：Agent(2)加載訓練好的深度神經網絡模型，基于實時狀態進行動作判斷和路徑規劃；

S33：對獲取的路徑參數進行處理得到打印參數，實施打印過程并跳轉至S31直至打印結束。

4.根據權利要求2所述的一種基于深度強化學習的電路自動3D打印方法，其特征在于：在S11中，模擬環境為二維像素地圖，地圖中以幾何圖形替指3D打印機噴頭(1)作為Agent(2)，抽象出槽體通道作為運動邊界，將Agent(2)置于寬度為3D打印機噴頭(1)直徑2至3倍的通道中進行探索，可探索或進行打印的區域像素值為0，邊界區域或不可打印區域的像素值大于0。

5.根據權利要求2所述的一種基于深度強化學習的電路自動3D打印方法，其特征在于：在S11中，局部狀態s_i為11行3列二維矩陣，每一行代表相對于當前Agent(2)的不同方向，每行中的第一列是在給定方向下前方不可打印區域距離將3D打印機噴頭(1)的像素距離，第二、三列則是不可打印區域點的x,y坐標值，局部狀態s_i二維矩陣中每行所代表的方向分別為相對于Agent(2)當前前進方向的0°、±15°、±30°、±45°、±60°、±75°方向。

6.根據權利要求2所述的一種基于深度強化學習的電路自動3D打印方法，其特征在于：在S11中，執行運動a_i的具體方式為是基于概率從動作空間中隨機選擇任意一個動作，或者將當前狀態矩陣的第一列元素輸入到深度神經網絡中，從輸出的動作價值函數列表中選取價值最大的動作；兩種選取方式的概率可以表示為：

式中P_(random)和P_(NN)分別為通過隨機選擇方式和利用深度神經網絡方式選擇動作的概率；x為回合內的運動次數，a和b分別為常數項。