[發明專利]一種基于Actor-Critic算法的數控機床進給控制補償方法

有效

• 申請號: 201910734010.0
• 申請日: 2019-08-09
• 公開（公告）號: CN110488759B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 張慶;魏曉晗;王紫琦
• 申請（專利權）人: 西安交通大學
• 主分類號: G05B19/41
• 分類號: G05B19/41
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 賀建斌

一種基于Actor?Critic算法的數控機床進給控制補償方法，首先，根據伺服系統特點，即運行上升過程中存在延時與超調的問題，在伺服系統中設計補償環節；然后，根據控制需要設計評價指標，利用評價指標設計Actor?Critic算法獎勵函數，并根據控制補償環節確定Actor?Critic算法動作參數，確定算法迭代終止條件；最后，運行Actor?Critic算法，確定最優補償參數；本發明在PID環節之后施加補償，通過Actor?Critic學習算法得到最優化補償參數，提高響應速度，同時減小超調量，提高進給速度與精度。

技術領域

本發明屬于機電一體化與智能控制技術領域，具體涉及一種基于Actor-Critic算法的數控機床進給控制補償方法。

背景技術

隨著現代控制與智能控制理論以及機電一體化技術的不斷深入發展，數控機床產業迅猛發展，以伺服系統為基礎的現代數控機床得到了越來越廣泛的應用，現在已廣泛應用于航空、航天、電子產品、汽車等各個行業的生產加工中，成為工業生產實現自動化與智能化的基礎。

伺服系統作為數控機床的核心部件，由于PID控制器存在滯后性、以及系統本身的魯棒性差等瓶頸問題，現階段伺服系統在可靠性、控制精度、功能完備性、穩定性等面仍有待提高，這將會降低數控機床在實際應用中的調節速度與控制精度，最終導致產品生產精度的降低和工業生產線生產效率的下降，并影響機床的使用壽命。通過對現有控制環節施加補償將會明顯改善上述問題。但在施加補償的過程中需要對補償參數進行合理高效地整定，以實現自適應、自學習的參數補償。

Actor-Critic強化學習算法是深度強化學習領域新一代算法，目的在于解決最優決策問題，是Q-learning和Policy Gradient算法的結合。在算法中Actor是一個策略網絡，需要獎懲信息來進行調節不同狀態下采取各種動作的概率；Critic是一個以價值為基礎的網絡，根據狀態特征輸出每一個狀態的獎懲信息。二者相結合，Actor網絡選擇動作，Critic網絡與Actor網絡進行數據傳遞判斷選擇的動作是否合適。在這一過程中，Actor不斷迭代，得到每一個狀態下選擇每一動作的合理概率，Critic也不斷迭代，不斷完善每個狀態下選擇每一個動作的獎懲值。現階段Actor-Critic算法在工業控制、仿真模擬和游戲博弈等領域得到了廣泛的應用。雖然Actor-Critic強化學習算法體現出了強大的尋優能力，但在伺服系統補償與參數整定領域尚未開展應用。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供了一種基于Actor-Critic算法的數控機床進給控制補償方法，在PID環節之后施加補償，通過Actor-Critic學習算法得到最優化補償參數，提高響應速度，同時減小超調量，提高進給速度與精度。

為實現上述目的，本發明采取的技術方案是：

一種基于Actor-Critic算法的數控機床進給控制補償方法，首先，根據伺服系統特點，即運行上升過程中存在延時與超調的問題，在伺服系統中設計補償環節；然后，根據控制需要設計評價指標，利用評價指標設計Actor-Critic算法獎勵函數，并根據控制補償環節確定Actor-Critic算法動作參數，確定算法迭代終止條件；最后，運行Actor-Critic算法，確定最優補償參數。

一種基于Actor-Critic算法的數控機床進給控制補償方法，包括以下步驟：

步驟1)通過Simulink仿真模型對數控機床進給系統進行建模，模型包括PID控制器、逆變器、永磁同步電機和檢測環節，其中被控對象為進給軸位置，檢測環節包括增量式編碼器、電流傳感器與電機輸出扭矩傳感器，檢測環節檢測的物理量包括位置、速度、電流和扭矩；

步驟2)運行初始進給伺服系統Simulink模型，獲取進給軸調節過程位置、速度、扭矩、電流信號時域波形，通過時域波形計算調整時間、超調量、上升時間、峰值時間、電流與扭矩有效值之比的時間響應性能指標；