[發明專利]一種基于經驗控制的多參數機器人實時行為校正方法

有效

• 申請號: 201811063090.3
• 申請日: 2018-09-12
• 公開（公告）號: CN109249393B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 毛新軍;黃裕泓;楊碩;劉哲
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清

本發明公開了一種基于經驗控制的多參數機器人實時行為校正方法，其包括：基于迭代仿真采集的多組狀態信息，通過離線學習的方式生成機器人的參數化控制函數；基于離線學習的參數化函數，構建機器人實時運行過程中的自適應調整模型，利用模型對機器人的偏差行為進行校正；根據外部環境變化，自主地從多個控制參數中選擇最為敏感的參數控制機器人的行為更新選擇。本發明具有較高穩定性、高效率、高適應能力以及魯棒性等優點。

技術領域

本發明主要涉及到智能機器人控制領域，特指一種基于經驗控制的多參數機器人實時行為校正方法。

背景技術

自動控制是機器人最重要的主題之一。通過自主控制，例如具有自適應的模型，機器人可以在無人類參與的條件下適應環境多樣化。目前，自適應的主題和挑戰是適應性問題的不確定性以及如何克服這種不確定性。其中一個機器人領域中具有代表性的自適應問題就是Path Following問題。

如果沒有精確的Path Following，機器人運動的后果將變得不可預測，特別是在無人駕駛領域。這樣的后果將導致機器人繼續工作的困難。值得注意的是，包括環境中的不確定性，控制器中時效性差和決策模型不完整等在內的Path Following挑戰將影響機器人的行為并導致偏差。為了使機器人按預期目標運行，應該減小偏差的影響，并且糾正機器人的行為。

迄今為止，很多機器人的控制都是基于參數化模型。在這種方法中，機器人可以通過從參數化模型中實時更新機器人的行為并部分適應環境多樣性來實現Path Following。然而，參數模型很大程度上依賴于人類設計師的經驗和專業知識。由于人類不可能完全了解環境，所以當機器人工作空間難以準確建模時，環境中的不確定性會被放大。為了減少參數模型中不確定性的影響，Policy Search，如損傷快速恢復或Self-Optimization的機器學習方法，被開發使用。Policy Search可以通過機器人行為優化很好地處理環境不確定性，但是這個過程需要消耗大量的計算時間。幸運的是，Grady Williams等人使得使用強化學習(Reinforcement Learning，RL)在模糊環境中快速運行四輪車成為可能。這種方法在使用基于時間片的預測的實時控制方面表現良好，但是其基于神經網絡的代價開銷大并且很難將其他任務嵌入到機器人中。更重要的是，機器人控制中的大部分機器學習方法都基于單參數，因為難以同時調整不同的參數。因此，設計了一種用于多參數機器控制的低成本機器學習智能方法是富有意義的。

發明內容

本發明要解決的技術問題就在于：針對現有技術存在的技術問題，本發明提供一種具有較高穩定性、高效率、高適應能力以及魯棒性的基于經驗控制的多參數機器人實時行為校正方法。

為解決上述技術問題，本發明采用以下技術方案：

一種基于經驗控制的多參數機器人實時行為校正方法，其包括：

基于迭代仿真采集的多組狀態信息，通過離線學習的方式生成機器人的參數化控制函數；

基于離線學習的參數化函數，構建機器人實時運行過程中的自適應調整模型，利用模型對機器人的偏差行為進行校正；

根據外部環境變化，自主地從多個控制參數中選擇最為敏感的參數控制機器人的行為更新選擇。

作為本發明的進一步改進：采用離線學習的方式生成機器人的參數化控制函數，參數模型函數將由經驗數據離線生成；機器人以不同參數迭代運行，以收集機器人狀態信息作為數據集的經驗數據；借助經驗數據，將函數擬合應用于提取數據集中參數之間的潛在規則以及來它們的影響，然后為每個參數創建模型函數。

作為本發明的進一步改進：包括實時對機器人行為進行自適應調整，機器人的行為根據實時機器人狀態信息進行自適應調整；傳感器監視器使用傳感器收集狀態信息并確定如何更新機器人的參數；之后，機器人使用離線學習的參數模型函數來調整多個參數；如果機器人行為產生不可接受的偏差，機器人的行為將會改變否則將維持原有控制參數模型。