[發明專利]基于深度增強學習的等切削力齒輪加工方法

有效

• 申請號: 201711275524.1
• 申請日: 2017-12-06
• 公開（公告）號: CN107992939B
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 柯豐愷;周唯倜;趙大興;朱海峰;丁國龍;孫國棟;許萬;吳震宇;趙迪
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F30/27;B23F5/12;G06F119/14
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 王和平;張繼巍

本發明涉及一種基于深度增強學習的等切削力齒輪加工方法，包括構建深度增強學習模型、構造輸出干擾、構建仿真環境、建立獎勵r_t計算模型、積累經驗池、訓練深度增強學習神經網絡及利用訓練好的深度強化學習模型控制插齒機等切削力的切削齒輪。本發明基于深度增強學習的等切削力齒輪加工方法，通過加入深度增強學習網絡，解決插齒機等切削力的自動插齒問題，充分利用了插齒機的功率，大大加快了插齒機的切削效率并同時保證了工件的加工質量與加工過程的平穩性。

技術領域

本發明屬于強化學習算法技術領域，具體涉及一種基于深度增強學習的等切削力齒輪加工方法。

背景技術

大型齒輪被廣泛應用于冶金，風力發電設備，船舶傳動裝置等方面。插齒法作為一種展成式加工方法，形成齒形包絡線的切線數量由圓周進給量的大小決定，并可以選擇，具有齒形精度高的優點，是加工大型圓柱齒輪的一種重要工藝方法。而大型插齒機作為加工大型圓柱齒輪的母機，由于主軸部件的往復慣量太大，插齒機通過高速化提高加工效率的方法難以實現，充分利用插齒機的負荷能力變得更為關鍵。理想的插齒機切削齒輪的工藝狀態是切削力基本恒定在由工藝系統決定的合理的目標值。這樣就可以充分發揮插齒機的加工能力，提高加工效率并同時保證了工件的加工質量與加工過程的平穩性。

發明內容

本發明的目的就是針對上述技術的不足，提供一種基于深度增強學習的等切削力齒輪加工方法，充分利用插齒機的負荷能力，解決大型插齒機加工效率低下和加工質量較低的問題。

為實現上述目的，本發明所設計的基于深度增強學習的等切削力齒輪加工方法包括如下步驟：

步驟1)構建深度增強學習模型

1.1)神經網絡初始化：神經網絡分為Actor網絡和Critic網絡兩個部分，Actor網絡為行為網絡、Critic網絡為評價網絡，每個部分又分別構建兩個結構完全相同而參數不同的eval net和target net，eval net為估計網絡、target net為目標網絡，從而形成μ(s|θ^μ)網絡、μ(s|θ^μ′)網絡、Q(s,a｜θ^Q)網絡及Q(s,a|θ^Q′)網絡共四個網絡，即μ(s|θ^μ)網絡為行為估計網絡、μ(s|θ^μ′)網絡為行為目標網絡、Q(s,a｜θ^Q(網絡為評價估計網絡、Q(s,a|θ^Q′)網絡為評價目標網絡；隨機初始化μ(s|θ^μ)網絡的參數θ^μ和隨機初始化Q(s,a|θ^Q)網絡的參數θ^Q，然后將μ(s|θ^μ)網絡的參數θ^μ值賦予行為目標網絡，即θ^μ′←θ^μ，將Q(s,a|θ^Q)網絡的參數θ^Q值賦予評價目標網絡，即θ^Q′←θ^Q；

1.2)經驗池初始化：設定經驗池為m行、n列的二維矩陣，二維矩陣中每個元素的值初始化為0，其中，m為樣本容量大小、n為每個樣本儲存的信息數量，n＝2×state_dim+action_dim+1，state_dim為狀態的維度、action_dim為動作的維度；同時，在經驗池中預留出用于存儲獎勵信息的空間，n＝2×state_dim+action_dim+1這個公式中的1即為存儲獎勵信息的預留空間；

步驟2)構造輸出干擾

根據當前輸入狀態s_t，通過網絡得到動作a_t′，再設定一個均值為a_t′、方差為var²的隨機正態分布從隨機正態分布中隨機得到一個實際輸出動作a_t，隨機正態分布對動作a_t′施加了干擾，用于探索環境，其中，代表t時刻行為估計網絡的參數，t為當前輸入狀態的時刻；