[發明專利]一種強化學習機器人控制方法

在審

• 申請號: 202110646067.2
• 申請日: 2021-06-10
• 公開（公告）號: CN113386133A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 劉俊杰;張琦;王祖盛
• 申請（專利權）人: 貴州恰到科技有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J11/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種強化學習機器人控制方法，包括以下步驟：構建初始模型：根據機器人上數據輸入接口和控制輸出接口，以強化學習算法建立初始控制模型；訓練初等模型：用手動控制的方式，在任一真實場景中控制機器人獲取真實數據，利用真實數據對初始控制模型進行訓練得到初等控制模型；定向訓練：在目標場景的仿真環境中，對初等控制模型進行訓練，得到定向控制模型；投入使用：用定向控制模型控制機器人，在目標場景中控制并實時更新定向控制模型。本發明基于實際硬件情況和真實數據構建控制模型，能有效提升仿真階段的控制模型訓練效率，并且便于智能機器人的產品化，大幅提升機器人的智能化的通用性。

技術領域

本發明涉及一種強化學習機器人控制方法。

背景技術

如公開號為CN112684794 A的發明專利公開了一種基于元強化學習的足式機器人運動控制方法、裝置及介質，其提供了利用強化學習算法構建控制模型，并在仿真環境中進行模型訓練，從而對機器人進行控制的方法。

又如公開號為CN112643668 A的發明專利公開了一種適用于密集環境下的機械臂推抓協同，其提供了在仿真環境中利用深度強化學習算法構建控制模型并訓練，實現對機器人的控制。

但是包括上述技術方案在內的現有技術，都沒有關注機器人在工業場景中實際使用的特殊性：機器人在實際使用中的場景并非固定不變的，而算法模型要適配具體場景，對于深度學習算法構建的控制模型而言，更換場景無異于的將整體推翻重來，因此將控制模型完全依靠仿真環境來進行訓練，當使用機器人的目標場景更換時，則需要在仿真環境中重新初始化控制模型并訓練，因此訓練效率低，極不利于甚至無法使智能機器人產品化，且控制模型不具有通用性。

發明內容

為解決上述技術問題，本發明提供了一種強化學習機器人控制方法，該強化學習機器人控制方法能有效提升仿真階段的控制模型訓練效率，并且便于智能機器人的產品化，大幅提升機器人的智能化的通用性。

本發明通過以下技術方案得以實現。

本發明提供的一種強化學習機器人控制方法，包括以下步驟：

構建初始模型：根據機器人上數據輸入接口和控制輸出接口，以強化學習算法建立初始控制模型；

訓練初等模型：用手動控制的方式，在任一真實場景中控制機器人獲取真實數據，利用真實數據對初始控制模型進行訓練得到初等控制模型；

定向訓練：在目標場景的仿真環境中，對初等控制模型進行訓練，得到定向控制模型；

投入使用：用定向控制模型控制機器人，在目標場景中控制并實時更新定向控制模型。

所述數據輸入接口接入傳感器和/或外部系統。

所述投入使用步驟中，如需更換目標場景，則返回至定向訓練步驟，并將投入使用的定向控制模型作為初等控制模型進行訓練。

所述訓練初等模型步驟中，采用監督學習的方式對初始控制模型進行訓練。

所述初始控制模型、初等控制模型、定向控制模型的模型結構完全一致。

所述初始控制模型為神經網絡架構。

所述仿真環境采用Gazebo或VREP平臺。

所述真實數據以控制周期分組，利用至少500組真實數據對初始控制模型進行訓練。

所述投入使用步驟中，如需更換硬件，則返回至構建初始模型步驟。

本發明的有益效果在于：基于實際硬件情況和真實數據構建控制模型，能有效提升仿真階段的控制模型訓練效率，并且便于智能機器人的產品化，大幅提升機器人的智能化的通用性。

附圖說明

圖1是本發明的數據流轉示意圖。