[發明專利]伺服控制裝置及系統、機器學習裝置及方法

有效

• 申請號: 201810205461.0
• 申請日: 2018-03-13
• 公開（公告）號: CN108628355B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 恒木亮太郎;豬飼聰史;園田直人
• 申請（專利權）人: 發那科株式會社
• 主分類號: G05D13/62
• 分類號: G05D13/62
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 曾賢偉;郝慶芬

1.一種機器學習裝置，其針對具備速度前饋計算單元的伺服控制裝置進行機器學習，所述速度前饋計算單元根據位置指令制作速度前饋值，該機器學習裝置的特征在于，具備：

狀態信息取得單元，其通過使所述伺服控制裝置執行預定的加工程序，而從所述伺服控制裝置取得狀態信息，所述狀態信息包括至少包含位置偏差的伺服狀態以及所述速度前饋計算單元的傳遞函數的系數的組合；

行為信息輸出單元，其向所述伺服控制裝置輸出包含所述狀態信息所包括的所述系數的組合的調整信息的行為信息；

回報輸出單元，其輸出基于所述狀態信息所包括的所述位置偏差的、強化學習中的回報的值；以及

價值函數更新單元，其根據由所述回報輸出單元輸出的回報的值、所述狀態信息以及所述行為信息來更新價值函數。

2.根據權利要求1所述的機器學習裝置，其特征在于，

所述回報輸出單元根據所述位置偏差的絕對值來輸出所述回報的值。

3.根據權利要求1或2所述的機器學習裝置，其特征在于，

所述回報輸出單元計算至少基于包含所述位置偏差以及所述位置偏差的微分值的值的回報的值。

4.根據權利要求1或2所述的機器學習裝置，其特征在于，

所述狀態信息取得單元還觀測從所述伺服狀態所包含的速度指令值發生變化起到所述位置偏差收斂在預定的范圍內為止的時間T，

所述回報輸出單元至少根據包含所述位置偏差以及所述時間T的長度的值，來計算回報的值。

5.根據權利要求1或2所述的機器學習裝置，其特征在于，

所述狀態信息取得單元還從所述伺服控制裝置取得扭矩指令，

所述回報輸出單元至少根據包含所述位置偏差以及所述扭矩指令的微分值的值，來計算回報的值。

6.根據權利要求1或2所述的機器學習裝置，其特征在于，

所述狀態信息取得單元還從所述伺服控制裝置取得扭矩指令，

所述回報輸出單元至少根據所述位置偏差以及所述扭矩指令是否達到了扭矩指令的容許值，來計算回報的值。

7.根據權利要求1或2所述的機器學習裝置，其特征在于，

所述狀態信息取得單元還從所述伺服控制裝置取得速度偏差，

所述回報輸出單元至少根據包含所述位置偏差以及所述速度偏差的值，來計算回報的值。

8.根據權利要求1或2所述的機器學習裝置，其特征在于，

所述機器學習裝置還具備：最佳化行為信息輸出單元，其根據由所述價值函數更新單元更新后的所述價值函數，生成并輸出所述速度前饋計算單元的傳遞函數的系數的組合。

9.一種伺服控制系統，其特征在于，具備：

權利要求1～8中任一項所述的機器學習裝置和伺服控制裝置。

10.一種伺服控制裝置，其特征在于，具備：

權利要求1～8中任一項所述的機器學習裝置和速度前饋計算單元。

11.一種機器學習裝置的機器學習方法，其針對具備速度前饋計算單元的伺服控制裝置進行機器學習，所述速度前饋計算單元根據位置指令制作速度前饋值，其特征在于，該機器學習方法具有如下步驟：

通過使所述伺服控制裝置執行預定的加工程序，從所述伺服控制裝置取得狀態信息，所述狀態信息包括至少包含位置偏差的伺服狀態以及所述速度前饋計算單元的傳遞函數的系數的組合，

向所述伺服控制裝置輸出包含所述狀態信息所包括的所述系數的組合的調整信息的行為信息，

根據基于所述狀態信息所包括的所述位置偏差的、強化學習中的回報的值、所述狀態信息以及所述行為信息來更新價值函數。