[發明專利]一種端到端的地外探測樣品智能抓取方法

有效

• 申請號: 202110674012.2
• 申請日: 2021-06-17
• 公開（公告）號: CN113524173B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 黃煌;高錫珍;湯亮;劉昊;謝心如;劉乃龍
• 申請（專利權）人: 北京控制工程研究所
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 馬全亮

一種端到端的地外探測樣品智能抓取方法，按照先數字訓練，再物理試驗的方式開展了數字?物理試驗；包括：設計了基于強化學習的樣品采集方法，然后構建樣品采集數字仿真訓練環境對模型進行訓練，最后將模型遷移到物理環境中進行驗證，結果表明能夠對幾何形狀未知不規則的物體進行高成功率的抓取，保證地外采樣任務成功。

技術領域

本發明涉及一種端到端的地外探測樣品智能抓取方法，屬于航空航天技術領域。

背景技術

地外探測是人類探索宇宙起源和星系演化、和平開發宇宙資源的重要手段，是世界航天領域未來的主要發展方向。地外探測從最近的月球逐步延伸到越來越遠的火星、小行星等天體，探測方式從掠飛環繞，逐漸進步到著陸巡視和采樣返回。地外探測樣本采集是采樣返回的核心關鍵環節，具有重要的科學價值和工程意義。

目前地外探測樣本采集主要通過機械臂、激光或鉆取設備，進行就地取樣，但目前還依賴地面指令或人在回路的操作方式，難以自主勝任未知變化環境下的多類復雜探測任務。同時基于傳統方法進行地外采樣存在異形未知物體檢測耗時長、偏差大，不規則物體的抓取位姿難以確切描述和依賴人為設置的特征問題。在新一代人工智能背景下，人工智能技術的植入是提高地外探測器采樣自主性的一條極其有效的途徑。

發明內容

本發明的目的在于：為了解決地外探測樣本采集的問題，提出一種端到端的地外探測樣品智能抓取方法，以火星探測中的樣本采集為應用背景，開展數字-物理一體化抓取、分析與裝箱全流程的學習訓練，實現全自主的目標發現、抓取與精細操作。

本發明目的通過以下技術方案予以實現：

一種端到端的地外探測樣品智能抓取方法，包括如下步驟：

選擇強化學習方法；

構建地外探測樣本采集仿真訓練環境；

在構建的仿真訓練環境中，進行數字訓練，得到抓取模型；

將得到的抓取模型遷移到地外探測樣本抓取物理實驗系統中，進行地外探測基于強化學習的樣品采集物理試驗，從而完成端到端的地外探測樣品智能抓取。

進一步的，采用近端策略優化方法PPO作為選擇的強化學習方法。

進一步的，采用多平臺機器人仿真軟件Webots構建地外探測樣本采集仿真訓練環境。

進一步的，構建地外探測樣本采集仿真訓練環境時，建立目標機械臂、手爪、相機、目標物體、箱子和桌面模型；

手爪設置在目標機械臂的前端，用于抓取桌面上的目標物體；

相機設置在桌面上方，用于觀察待抓取的目標物體；

箱子用于手爪抓取目標物體后，放置目標物體。

進一步的，所述進行數字訓練，具體為：通過設計獎勵函數和網絡結構，訓練深度神經網絡，輸入通過相機獲得的RGB-D圖像，輸出對應圖像坐標系下最佳抓取位姿。

進一步的，獎勵函數如下：

近端策略優化方法PPO中執行網絡Actor和評價網絡Critic都采用稠密神經網絡DenseNet，具體參數如下：選用DenseNet-121網絡，121層，包含初始化層、密集連接層、過渡層與全連接層。

進一步的，訓練過程包括如下：

(1)根據當前物品抓取環境狀態，機械臂根據初始的抓取策略選取并執行抓取動作；初始的抓取策略根據選擇的強化學習方法得到；

(2)執行抓取動作后，抓取環境轉移到新的狀態，并通過獎勵函數獲得相應的動作獎勵；

(3)重復上述過程直到訓練環境中物體全部抓取成功；