[發明專利]一種基于強化學習的刀具路徑生成與優化方法

有效

• 申請號: 201811283054.8
• 申請日: 2018-10-31
• 公開（公告）號: CN109491320B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 楊建中;向單奇;武俊雄;高嵩;朱萬強;宋仕杰;傅有
• 申請（專利權）人: 華中科技大學
• 主分類號: G05B19/19
• 分類號: G05B19/19
• 代理公司: 42201 華中科技大學專利中心
• 代理人: 孔娜;曹葆青<國際申請>=<國際公布>=

1.一種基于強化學習的刀具路徑生成與優化方法，其特征在于，該方法包括以下步驟：

(1)將加工信息輸入到環境仿真模型，所述環境仿真模型依據所述加工信息產生仿真刀具加工環境及加工的公差帶，并將所述公差帶輸入到所述仿真刀具加工環境中；

(2)所述環境仿真模型依據來自訓練好的深度神經網絡模型的動作值產生狀態值，并將所述狀態值輸出給所述深度神經網絡模型，所述深度神經網絡模型根據接受到的所述狀態值作前向推導以產生新的動作值，并將新的動作值傳輸給所述環境仿真模型，如此所述環境仿真模型與所述深度神經網絡模型不斷交互，使得刀具不斷做出動作以從加工起始點沿著所述公差帶延伸方向到達加工終點，進而生成一條刀具路徑；

(3)重復步驟(2)以獲得多條刀具路徑，將多條所述刀具路徑輸入到路徑評判模塊，所述路徑評判模塊對接收到的每一條刀具路徑做出判斷并輸出一個評判分數，將多條所述刀具路徑中評判分數最高的刀具路徑作為最終的刀具路徑。

2.如權利要求1所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：所述加工信息包括工件輪廓信息、公差帶帶寬及刀具半徑。

3.如權利要求1所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：步驟(1)之前還包括構建所述環境仿真模型的步驟，所述環境仿真模型的構建包括以下步驟：首先，對實際加工過程進行建模以得到刀具加工模型，且對加工過程中機床給予刀具的動力及摩擦力進行分析，以抽象出加工過程中的刀具動力學過程；接著，對所述刀具加工模型中的摩擦系數進行辨識；最后，采用物理引擎構建仿真環境，進而得到所述環境仿真模型。

4.如權利要求1所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：所述環境仿真模型根據接受到的該動作值仿真計算出下一刻刀具所處的狀態，并將該狀態以狀態值的形式傳輸給所述深度神經網絡模型。

5.如權利要求1所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：所述環境仿真模型還根據接受到的動作值生成獎賞值并將生成的獎賞值傳輸給所述深度神經網絡模型，所述獎賞值用于所述深度神經網絡模型的訓練。

6.如權利要求1所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：所述深度神經網絡模型根據接受到的所述狀態值再做前向推導以生成一個動作空間的分布，并選取最優動作值來決定下一步的動作值。

7.如權利要求1-6任一項所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：步驟(2)之前還包括構建及訓練所述深度神經網絡模型的步驟。

8.如權利要求7所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：構建所述深度神經網絡模型時，采用開源機器學習框架搭建整個深度神經網絡模型的結構，并利用近端策略優化算法建立訓練和預測的數據流通道。

9.如權利要求7所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：所述環境仿真模型與所述深度神經網絡模型交互多輪后，所述深度神經網絡模型將之前存儲的獎賞值及狀態值傳輸給值函數估計器，所述值函數估計器產生批量的優勢值并將所述優勢值傳輸給所述深度神經網絡模型，進而結合所述狀態值、所述獎賞值及所述優勢值來訓練所述深度神經網絡模型，反復進行直至所述深度神經網絡模型收斂到預定狀態。

10.如權利要求7所述的基于強化學習的刀具路徑生成與優化方法，其特征在于：所述深度神經網絡模型訓練時采用的公差帶不是固定的加工公差帶，而是所述環境仿真模型隨機生成的公差帶，以提高所述深度神經網絡模型的泛化能力。