[發明專利]模型生成裝置、模型生成方法、控制裝置以及控制方法

在審

• 申請號: 202080050401.1
• 申請日: 2020-07-22
• 公開（公告）號: CN114096968A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 大川洋平;林劍之介;柴田義也
• 申請（專利權）人: 歐姆龍株式會社
• 主分類號: G06F30/17
• 分類號: G06F30/17;G06F30/27;G06N3/04;G06N3/08;G06N5/04;G06N20/00
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 沈丹陽

1.一種模型生成裝置，具備：

數據獲取部，獲取多個學習數據集，所述多個學習數據集分別由表示兩個對象物之間的位置關系的訓練數據及表示在所述位置關系中所述兩個對象物是否相互接觸的正解數據的組合構成；以及

機器學習部，使用獲取的所述多個學習數據集實施判定模型的機器學習，所述機器學習的實施通過針對各所述學習數據集以相對于所述訓練數據的輸入而輸出適合于對應的所述正解數據的輸出值的方式對所述判定模型進行訓練而構成。

2.根據權利要求1所述的模型生成裝置，其中，

所述兩個對象物之間的所述位置關系通過相對坐標進行表達。

3.根據權利要求1或2所述的模型生成裝置，其中，

所述兩個對象物中的至少任意一個是通過機器人裝置的動作進行移動的對象。

4.一種模型生成方法，由計算機執行如下步驟：

獲取多個學習數據集，所述多個學習數據集分別由表示兩個對象物之間的位置關系的訓練數據及表示在所述位置關系中所述兩個對象物是否相互接觸的正解數據的組合構成；以及

使用獲取的所述多個學習數據集實施判定模型的機器學習，所述機器學習的實施通過針對各所述學習數據集以相對于所述訓練數據的輸入而輸出適合于對應的所述正解數據的輸出值的方式對所述判定模型進行訓練而構成。

5.一種控制裝置，用于控制在存在第一對象物及第二對象物的環境下執行使第一對象物移動的任務的機器人裝置的動作，所述控制裝置具備：

狀態獲取部，獲取所述機器人裝置的當前的任務狀態，所述任務狀態由所述第一對象物與所述第二對象物之間的位置關系規定；

行動決定部，以接近最終目標的任務狀態的方式相對于獲取的所述當前的任務狀態決定接下來轉換的目標的任務狀態；

接觸判定部，通過向學習完畢的判定模型提供所述第一對象物及所述第二對象物的對象的任務狀態，從而判定在對象的任務狀態下所述第一對象物與所述第二對象物是否相互接觸，所述學習完畢的判定模型通過機器學習而被訓練為：相對于表示所述第一對象物與所述第二對象物的位置關系的訓練數據的輸入而輸出適合于表示在該位置關系下所述第一對象物與所述第二對象物是否相互接觸的正解數據的輸出值；

指令決定部，決定向所述機器人裝置提供的控制指令，以使所述機器人裝置的任務狀態從所述當前的任務狀態變化為所述目標的任務狀態；以及

驅動部，通過向所述機器人裝置提供已決定的所述控制指令，從而驅動所述機器人裝置。

6.根據權利要求5所述的控制裝置，其中，

所述第一對象物與所述第二對象物之間的位置關系通過相對坐標進行表達。

7.根據權利要求5或6所述的控制裝置，其中，

所述控制裝置還具備模型生成部，所述模型生成部利用所述學習完畢的判定模型的所述判定的結果生成推理模型，所述推理模型用于以使第一對象物不與第二對象物接觸的方式根據所述當前的任務狀態及所述最終目標的任務狀態推理接下來轉換的所述目標的任務狀態，

所述行動決定部利用生成的所述推理模型決定相對于所述當前的任務狀態接下來轉換的所述目標的任務狀態。

8.根據權利要求7所述的控制裝置，其中，

所述模型生成部通過實施機器學習而生成所述推理模型。

9.根據權利要求8所述的控制裝置，其中，

所述機器學習由強化學習構成，所述強化學習根據通過所述學習完畢的判定模型判定在對象的任務狀態下所述第一對象物與所述第二對象物是否相互接觸的結果以及該對象的任務狀態與所述最終目標的任務狀態之間的距離設定有回報，

所述第一對象物與所述第二對象物相互不接觸且所述距離越短，則所述回報設定得越多，所述第一對象物與所述第二對象物相互接觸或者所述距離越長，則所述回報設定得越少，

所述機器學習的實施包括反復進行構成所述推理模型的運算參數的值的修正以得到多的所述回報。