[發明專利]機器人的控制裝置、機器學習裝置以及機器學習方法

有效

• 申請號: 201810282921.X
• 申請日: 2018-04-02
• 公開（公告）號: CN108687766B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 大場雅文
• 申請（專利權）人: 發那科株式會社
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06N3/04
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 范勝杰;曹鑫

本發明提供機器人的控制裝置、機器學習裝置以及機器學習方法?？刂蒲b置具備學習機器人進行的配置在上述運送裝置上的物品的收納動作的運轉開始條件的機器學習裝置，該機器學習裝置將表示運轉開始條件的運轉開始條件數據以及表示運送裝置上的物品相關的狀態的運送狀態數據作為表示環境的當前狀態的狀態變量進行觀測，另外，取得表示收納動作的適當與否判定結果的判定數據，并且使用該觀測到的狀態變量和該取得的判定數據，將上述運轉開始條件與上述運送狀態數據關聯起來進行學習。

技術領域

本發明涉及機器人的控制裝置以及機器學習裝置，特別涉及學習最佳的機器人的運轉開始條件的控制裝置、機器學習裝置以及機器學習方法。

背景技術

有一種一邊追隨在傳送帶等運送裝置上傳來的至少一個物品，一邊將其取出的物品運送系統(例如，日本特開平08-063214號公報等)。在這種物品運送系統中，如圖9所示，通過安裝在運送裝置上方或機器人臂上的攝像裝置等檢測到達了預先設定的預定運轉開始位置的物品，一邊追隨機器人檢測出的物品，一邊把持該物品，并且將把持住的物品收納在收納容器或收納場所中。通過熟練的作業人員等決定圖9所示的運轉開始位置。

但是，在這種現有技術中，機器人從超過了預先任意決定的位置的物品起，按順序地開始追隨物品，因此如果將追隨開始位置錯誤地設定為偏離的位置，則機器人的動作會產生浪費。另外，在經驗少的作業人員中，會有難以預先決定與機器人固有的能力和配置對應的最佳的運轉開始位置的問題。

發明內容

因此，本發明的目的為提供能夠決定最佳的機器人的運轉開始條件的控制裝置、機器學習裝置以及機器學習方法。

本發明的一個方式的控制裝置為控制用于把持配置在運送裝置上的至少一個物品來收納在預定位置的機器人的控制裝置，具備：機器學習裝置，其學習上述機器人進行的配置在上述運送裝置上的上述物品的收納動作的運轉開始條件。該機器學習裝置具備：狀態觀測部，其將表示上述運轉開始條件的運轉開始條件數據以及表示上述運送裝置上的上述物品相關的狀態的運送狀態數據作為表示環境的當前狀態的狀態變量進行觀測；判定數據取得部，其取得表示上述收納動作的適當與否判定結果的判定數據；以及學習部，其使用上述狀態變量和上述判定數據，將上述運轉開始條件與上述運送狀態數據關聯起來進行學習。

上述狀態觀測部還進一步將識別上述物品的類別的類別信息作為上述狀態變量進行觀測，上述學習部能夠將上述運轉開始條件與上述運送狀態數據以及上述類別信息的雙方關聯起來進行學習。

上述判定數據能夠包括直到收納預先決定的預定數量的上述物品為止的周期時間、上述機器人在上述運送裝置上遺漏物品的遺漏個數、在上述機器人收納上述物品時驅動上述機器人的電動機的轉矩以及在上述機器人收納上述物品時產生的振動中的至少一個。

上述學習部能夠具備：回報計算部，其求出與上述適當與否判定結果關聯的回報；以及價值函數更新部，其使用上述回報來更新表示針對上述運送裝置上的上述物品相關的狀態的上述運轉開始條件的價值的函數。

上述學習部能夠以多層構造運算上述狀態變量和上述判定數據。

上述控制裝置還能夠具備：決策部，其根據上述學習部的學習結果來輸出基于上述運轉開始條件的指令值。

上述學習部能夠使用針對多個機器人分別得到的上述狀態變量以及上述判定數據來學習該多個機器人各自的上述運轉開始條件。

上述機器學習裝置能夠存在于云服務器中。