[發明專利]伺服控制裝置及系統、機器學習裝置及方法

有效

• 申請號: 201810205461.0
• 申請日: 2018-03-13
• 公開（公告）號: CN108628355B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 恒木亮太郎;豬飼聰史;園田直人
• 申請（專利權）人: 發那科株式會社
• 主分類號: G05D13/62
• 分類號: G05D13/62
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 曾賢偉;郝慶芬

提供一種伺服控制裝置及系統、機器學習裝置及方法，來進行能夠避免復雜的高階的速度前饋的系數的調整的強化學習。對具備根據位置指令制作速度前饋值的速度前饋計算部的伺服控制裝置進行機器學習的機器學習裝置具備：狀態信息取得部，其通過使伺服控制裝置執行預定的加工程序，從伺服控制裝置取得狀態信息，狀態信息至少包括位置偏差、速度前饋計算部的傳遞函數的系數的組合；行為信息輸出部，其向伺服控制裝置輸出包含狀態信息所包括的系數的組合的調整信息的行為信息；回報輸出部，其輸出基于狀態信息所包括的位置偏差的、強化學習中的回報的值；價值函數更新部，其根據由回報輸出部輸出的回報的值、狀態信息及行為信息來更新行為價值函數。

技術領域

本發明涉及針對使用速度前饋控制的伺服控制裝置，進行與速度前饋控制中的系數有關的學習的機器學習裝置、包含該機器學習裝置的伺服控制裝置、伺服控制系統以及機器學習方法。

背景技術

使用速度前饋控制的伺服控制裝置，例如記載在專利文獻1中。記載在專利文獻1中的伺服控制裝置對位置指令進行微分來求出位置的前饋控制量，將通過位置環(loop)控制獲得的控制量加上位置的前饋控制量來作為速度指令，將對位置的前饋量進行微分得到的速度的前饋控制量加上通過速度環控制得到的值來作為電流指令。

專利文獻1：日本特開平3-15911號公報

發明內容

在伺服控制裝置中，存在由于機械摩擦、機械間隙或者空轉(lost motion)等非線性特性的影響，在速度指令值發生變化時產生位置偏差的情況。在像這樣的情況下，雖然通過將速度前饋設為高階，降低了位置偏差，提高了對于位置指令的追蹤性，但是速度前饋的系數(參數)的調整變難。

本發明的目的在于，提供一種在使用速度前饋控制的伺服控制裝置中，當為了降低位置偏差來提高對于位置指令的追蹤性而將速度前饋的系數設為高階時，進行能夠避免復雜的速度前饋的高階的系數的調整的強化學習的機器學習裝置、包含該機器學習裝置的伺服控制裝置、伺服控制系統以及機器學習方法。

(1)本發明所涉及的機器學習裝置(例如，后述的機器學習裝置200)其是針對具備根據位置指令制作速度前饋值的速度前饋計算單元(例如，后述的速度前饋計算部110)的伺服控制裝置(例如，后述的伺服控制裝置100)進行機器學習的機器學習裝置，

所述機器學習裝置具備：

狀態信息取得單元(例如，后述的狀態信息取得部201)，其通過使所述伺服控制裝置執行預定的加工程序，而從所述伺服控制裝置取得狀態信息，所述狀態信息包括至少包含位置偏差的伺服狀態以及所述速度前饋計算部的傳遞函數的系數的組合；

行為信息輸出單元(例如，后述的行為信息輸出部203)，其向所述伺服控制裝置輸出包含所述狀態信息所包括的所述系數的組合的調整信息的行為信息；

回報輸出單元(例如，后述的回報輸出部2021)，其輸出基于所述狀態信息所包括的所述位置偏差的、強化學習中的回報的值；以及

價值函數更新單元(例如，后述的價值函數更新部2022)，其根據由所述回報輸出單元輸出的回報的值、所述狀態信息以及所述行為信息來更新行為價值函數。

(2)在上述(1)的機器學習裝置中，所述回報輸出單元根據所述位置偏差的絕對值來輸出所述回報的值。

(3)在上述(1)或者(2)的機器學習裝置中，所述回報輸出單元計算至少基于包含所述位置偏差以及所述位置偏差的微分值的值的回報的值。

(4)在上述(1)或者(2)的機器學習裝置中，所述狀態信息取得單元還觀測從所述伺服狀態所包含的速度指令值發生變化起到所述位置偏差收斂在預定的范圍內為止的時間T，

所述回報輸出單元至少根據包含所述位置偏差以及所述時間T的長度的值，來計算回報的值。