[發明專利]機器學習裝置、伺服控制系統以及機器學習方法

有效

• 申請號: 201810444852.8
• 申請日: 2018-05-10
• 公開（公告）號: CN108880399B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 筱田翔吾;豬飼聰史
• 申請（專利權）人: 發那科株式會社
• 主分類號: H02P29/00
• 分類號: H02P29/00
• 代理公司: 11243 北京銀龍知識產權代理有限公司
• 代理人: 范勝杰;王立杰<國際申請>=<國際公布>

提供機器學習裝置、伺服控制系統以及機器學習方法。根據電動機的相位適當調整控制器增益。對控制具備電動機的控制對象裝置的動作的伺服控制裝置進行強化學習的機器學習裝置具備：行為信息輸出單元，其對伺服控制裝置具備的控制器輸出包括控制器增益的傳輸函數的系數的調整信息的行為信息；狀態信息取得單元，其從伺服控制裝置取得狀態信息，該狀態信息包括在控制器根據行為信息使控制對象裝置動作時被輸入到控制器的指令與控制對象裝置的實際動作之間的偏差、電動機的相位、控制器增益的傳輸函數的系數；根據狀態信息中包括的偏差來輸出強化學習的回報值的回報輸出單元和根據回報值、狀態信息、行為信息來更新行為價值函數的價值函數更新單元。

技術領域

本發明涉及用于進行伺服控制相關的機器學習的機器學習裝置、伺服控制系統以及機器學習方法。

背景技術

目前，已知一種技術，通過進行伺服控制相關的機器學習，適當地控制作為伺服控制的對象的機床等。

例如在專利文獻1中公開的技術中，作為狀態觀測關于主軸的負荷、溫度以及振動。然后通過基于該觀測到的狀態的強化學習來學習用于修正動作指令的價值函數。學習結束后，通過使用這樣學習到的價值函數，能夠不需要操作員進行的修正操作而根據狀況來修正動作指令。

但是，如果使伺服電動機等電動機驅動，則電動機的電感會隨著電動機的相位而發生變化。因此如果用于控制電動機驅動的控制器增益為恒定，則會隨著電感的變化而產生電動機的旋轉不均(ムラ)。為了抑制該旋轉不均，需要根據電動機的相位來調整控制器增益。

但是，在一般技術中，不根據電動機的相位來調整控制器增益。例如，在上述專利文獻1公開的技術中，記載了根據負荷、溫度以及振動來修正賦予機床的動作指令的情況，但是沒有記載考慮電動機的相位和調整控制器增益的情況。

另外，即使假設在一般技術中調整控制器增益，電動機的電感也會根據電動機的相位在非常短的時間內瞬間變化，所以該調整并非易事。

專利文獻1：日本特開平7-210207號公報

發明內容

本發明鑒于這種情況進行的，其目的為提供能夠根據電動機的相位適當地調整控制器增益的機器學習裝置、伺服控制系統以及機器學習方法。

(1)本發明的機器學習裝置(例如后述的機器學習裝置100)，針對控制具備電動機(例如后述的電動機32)的控制對象裝置(例如后述的控制對象裝置300)的動作的伺服控制裝置(例如后述的伺服控制裝置200)進行強化學習，具備：行為信息輸出單元(例如后述的行為信息輸出部13)，其針對上述伺服控制裝置所具備的控制器(例如后述的位置控制器23、速度控制器25以及電流控制器27)輸出包括控制器增益的傳輸函數的系數的調整信息的行為信息；狀態信息取得單元(例如后述的狀態信息取得部11)，其從上述伺服控制裝置取得狀態信息，該狀態信息包括在上述控制器根據上述行為信息使上述控制對象裝置進行動作時被輸入到上述控制器的指令與上述控制對象裝置的實際動作之間的偏差、上述電動機的相位、上述控制器增益的傳輸函數的系數；回報輸出單元(例如后述的回報輸出121)，其根據上述狀態信息中包括的上述偏差來輸出強化學習的回報值；以及價值函數更新單元(例如后述的價值函數更新部122)，其根據上述回報值、上述狀態信息、上述行為信息來更新行為價值函數。

(2)上述(1)記載的機器學習裝置可以構成為，上述伺服控制裝置進行用于修正被輸入到上述控制器的指令的反饋控制，上述狀態信息取得單元取得被輸入到上述控制器中的指令與上述反饋控制的反饋值之間的差值作為上述偏差。

(3)上述(1)或(2)記載的機器學習裝置可以構成為，上述控制器是進行位置控制、速度控制以及電流控制中的任意一個的控制器的組合，該機器學習裝置在將上述控制器的任意一個作為對象進行了上述強化學習后將其他控制器的一個作為對象進行上述強化學習時，可以按照進行電流控制的控制器、進行速度控制的控制器、進行位置控制的控制器的順序設為上述強化學習的對象。