[發明專利]一種基于Actor-Critic算法的數控機床進給控制補償方法

有效

• 申請號: 201910734010.0
• 申請日: 2019-08-09
• 公開（公告）號: CN110488759B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 張慶;魏曉晗;王紫琦
• 申請（專利權）人: 西安交通大學
• 主分類號: G05B19/41
• 分類號: G05B19/41
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 賀建斌

1.一種基于Actor-Critic算法的數控機床進給控制補償方法，其特征在于：首先，根據伺服系統特點，即運行上升過程中存在延時與超調的問題，在伺服系統中設計補償環節；然后，根據控制需要設計評價指標，利用評價指標設計Actor-Critic算法獎勵函數，并根據控制補償環節確定Actor-Critic算法動作參數，確定算法迭代終止條件；最后，運行Actor-Critic算法，確定最優補償參數；

所述的一種基于Actor-Critic算法的數控機床進給控制補償方法，包括以下步驟：

步驟1)通過Simulink仿真模型對數控機床進給系統進行建模，模型包括PID控制器、逆變器、永磁同步電機和檢測環節，其中被控對象為進給軸位置，檢測環節包括增量式編碼器、電流傳感器與電機輸出扭矩傳感器，檢測環節檢測的物理量包括位置、速度、電流和扭矩；

步驟2)運行初始進給伺服系統Simulink模型，獲取進給軸調節過程位置、速度、扭矩、電流信號時域波形，通過時域波形計算調整時間、超調量、上升時間、峰值時間、電流與扭矩有效值之比的時間響應性能指標；

步驟3)從步驟2)的時間響應性能指標中選擇參數指標作為評價指標，針對不同的補償優化目標所選擇的參數指標不同，當補償目標為提高響應速度時，應選擇調解時間、上升時間、峰值時間作為評價指標；當補償目標是抑制超調時，應選擇超調量作為評價指標；當補償目標為提高電機效率時，則選擇電流與扭矩有效值之比即效率指標作為評價指標；

將所選擇的參數指標作為評價指標向量，組成狀態向量S_t，

S_t＝{s₁,s₂,…s_i,…,s_n}

其中，s_i為狀態向量中各個評價指標,i＝1,2,…,n；

對狀態向量中各元素進行歸一化處理，處理過程如下:

其中，s_imin為第i個參數指標最小值，s_imax為樣本最大超調，所有參數指標最大值及最小值均通過伺服系統多次運行采樣得到；

將歸一化后的向量作為Actor網絡的輸入向量；

步驟4)選擇補償放大增益K作為算法輸出動作，作為Actor網絡的輸出；狀態向量S_t與Actor輸出動作放大增益K作為Critic網絡的輸入；同時根據所選擇指標設計Actor-Critic算法獎勵函數R(s_t,a)

R(s_t,a)＝R_ref-S_t^a

R_ref＝[-0.65；0.7；-0.2]

步驟5)根據輸入狀態向量及動作分別設計Actor-Critic算法中Actor與Critic參數化網絡參數φ(s)，選擇RBF神經網絡作為參數化手段，隨機選擇神經網絡中心；根據所設計參數配置網絡，配置算法學習率α＝0.0001，作為參數反饋更新的折扣；參數更新方式如下

其中為價值梯度，用來更新Critic網絡參數梯度；為策略梯度，用來更新Actor網絡參數；

步驟6)設置補償函數形式為一元線性函數，函數形式為：

y＝K(τx+1)

其中，τ為補償截止時間常數，為補償信號截止時間的負倒數，K為補償增益，補償截止時間應根據補償評價指標在補償環節中設置，補償截止時間應小于調節時間t_s；設計算法終止條件，設置算法最大迭代次數T作為終止條件；

步驟7)運行Actor-Critic算法進行迭代，如果價值函數R在最后100回合的變化ΔR₁₀≤2，則認為算法收斂；如果算法不收斂，則將迭代步數加大50％，重復步驟4)-7)，運行補償后的伺服系統驗證補償結果。

2.根據權利要求1所述的一種基于Actor-Critic算法的數控機床進給控制補償方法，其特征在于：所述的步驟2)中的伺服系統為以永磁同步電機為執行器的伺服系統，工作模式為位置控制模式，包括PID控制、Park變化、Clark變換、SVPWM、逆變器、永磁同步電機模塊。

3.根據權利要求1所述的一種基于Actor-Critic算法的數控機床進給控制補償方法，其特征在于：所述步驟5)中的Actor-Critic算法，是通過在構建并運行Actor和Critic兩個網絡，并將網絡與模型環境相結合，在每個回合更新網絡參數而實現的。