[發明專利]基于深度強化學習的端到端在軌自主加注控制系統及方法

有效

• 申請號: 202010693535.7
• 申請日: 2020-07-17
• 公開（公告）號: CN111844034B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 解永春;陳奧;王勇;李林峰;唐寧;徐拴鋒
• 申請（專利權）人: 北京控制工程研究所
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 程何

基于深度強化學習的端到端在軌自主加注控制系統及方法，包括基于深度強化學習的端到端在軌加注控制系統和神經網絡結構；控制系統包括：基于深度神經網絡的特征提取系統、基于深度強化學習的自學習軌跡規劃系統和機械臂關節控制系統；神經網絡結構包括：基于深度神經網絡的特征提取系統網絡和基于深度強化學習的自學習軌跡規劃系統網絡；特征提取系統網絡主要由深度卷積神經網絡組成；軌跡規劃系統網絡由策略網絡和評價網絡構成；整個系統在虛擬環境下利用深度強化學習的基本方法進行訓練，且可基于特征遷移至真實的物理環境下。本發明不但解決了困擾當前空間操作的環境的非結構化、遙操作的大時延等難題，并且具有實際的工程應用價值。

技術領域

本發明涉及一種基于深度強化學習的端到端在軌自主加注控制系統及方法，屬于空間技術領域。

背景技術

在空間在軌維修維護領域，推進劑在軌補給技術處于核心地位，是延長衛星有效工作壽命、提高衛星經濟效益的主要技術手段，也是帶動其他在軌服務技術的先導和基礎。如何自主處理加注中面臨的非結構不確定環境是實現推進劑在軌補給技術的關鍵問題。目前為止，實現推進劑在軌補給主要有以下幾種方法：

表1.推進劑在軌補給技術

通過對以上方法的比較可以看出，如今進行在軌加注具有很大的困難，或者依賴于人(如有人操作和遙操作)或者對環境有較高約束(如部分自主操作)或者精度受限于操作距離(如遙操作)。

為了克服以上困難，學者們又提出了自主操作的概念。自主操作是指，航天器在人工智能的支持管理下，不依賴于地面測控，僅依靠自身敏感器和控制裝置就能自主的完成在軌加注等操作，這種方式具備更高的靈活性，也不依賴于人，符合未來的發展趨勢。到目前為止，僅有“軌道快車”實現了自主燃料傳輸加注，但是，采用的是比較簡單的機器學習算法，適用場景非常有限。美國的一些其他任務，如“蜘蛛制造”，“建筑師”，“地球同步軌道衛星機器人服務”等仍在研究當中，都只是提出了計劃要實現自主操作，暫時并未給出相應的結果。這種方式可以充分將人工智能的一些先進方法用于在軌加注中，結合人工智能的“延伸和擴展人的智能”這一特點，賦予機械臂人的智能，從而降低其對人、對環境的依賴和約束。該方法已經被美國、歐洲、日本和加拿大等國的航天科研機構所采用。但目前上述方法不成熟，仍有許多問題有待解決，其中最關鍵的一點就是如何自主處理加注中面臨的非結構不確定環境。

發明內容

本發明解決的技術問題是：克服現有技術的不足，提供了一種基于深度強化學習的端到端在軌自主加注控制系統及方法，不但大大降低了實現難度，并具有研制費用低、簡單易行等優點，可用于不確定環境下的自主在軌加注，且較容易拓展至各類空間操作任務下的機械臂控制中。

本發明的技術解決方案是：一種基于深度強化學習的端到端在軌自主加注控制系統，包括空間機械臂、特征提取系統、自主規劃系統和機械臂控制系統；

所述特征提取系統，一方面用于將環境信息處理為壓縮序列特征數據，發送至自主規劃系統，并接收自主規劃系統的反饋數據對自身參數進行訓練；另一方面用于實時采集環境信息，基于自身訓練好的參數將實時采集的環境信息處理為機械臂壓縮特征，并發送至自主規劃系統；所述環境信息包括機械臂視覺數據、機械臂關節角和角速度、以及力和力矩數據；

所述自主規劃系統，一方面用于接收壓縮序列特征數據對自身參數進行訓練，并向特征提取系統發送反饋數據；另一方面用于實時接收機械臂壓縮特征，利用自身訓練好的參數將機械臂壓縮特征解算為機械臂參考軌跡并發送至機械臂控制系統；

所述機械臂控制系統實時跟蹤機械臂參考軌跡，并將其轉換為電機控制力矩，控制機械臂運動，實現加注。

進一步地，所述特征提取系統包括單目視覺敏感器、六自由度力傳感器和深度神經網絡特征提取模塊；

所述單目視覺敏感器用于采集機械臂的圖像數據，所述六自由度力傳感器用于采集力和力矩數據；