[發明專利]基于柔性臂手眼相機的自適應視覺測量方法及系統

在審

• 申請號: 202011195594.8
• 申請日: 2020-10-30
• 公開（公告）號: CN112344914A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 徐文福;王封旭;楊太瑋;袁晗;梁斌
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G01C11/02
• 分類號: G01C11/02;G01C11/04;B64G4/00
• 代理公司: 深圳市深聯知識產權代理事務所(普通合伙) 44357
• 代理人: 張琪

本發明涉及一種基于柔性臂手眼相機的自適應視覺測量方法，其包括：結合目標與相機的運動規律，以及當前幀的圖像信息，利用卡爾曼濾波減小測量誤差，計算圖像處理完成時刻目標與相機間的相對位姿，以及推斷目標下一時刻在像素平面的位置和所占像素，從而設置檢索區域及檢測條件。該方法能夠適應目標與相機間的大歐拉距離變化，具有測量速度快、測量精度高、適應性強等特點。本發明還涉及一種基于柔性臂的視覺測量系統，能夠作為測量方法的實現載體，具有模擬目標衛星模型運動、目標位姿測量、視覺任務模擬等功能。

技術領域

本發明屬于機器人技術領域。本發明一般涉及基于機器人末端手眼相機的視覺測量，尤其涉及一種基于柔性臂手眼相機的自適應視覺測量方法及系統。

背景技術

隨著航空宇航事業的發展，在軌航天器數量越來越多，其中一些航天器因為故障和壽命末期等原因發生故障，不僅成為太空垃圾對其它航天器造成安全隱患，也是一種巨大的浪費。因此利用空間機器人對故障航天器的維修和回收成為了各航天大國的研究熱點。太空中環境具有環境多變、作業空間狹小、障礙物多等特點，體型纖細、自由度多、運動靈活的繩驅柔性機械臂能夠發揮重要作用。在柔性臂末端安裝手眼相機可以對柔性臂具體工作環境進行實時檢測，有助于完成抓取、對接等工作。在工作時，檢測目標及定位目標位姿，以控制柔性臂到達期望的目標位姿。

在工作過程中，故障航天器往往正處于平動和滾轉狀態，圖像處理需要一定的時間，給出的視覺測量信息往往與翻滾目標當前的運動狀態不一致，存在時延現象，因而需要有對翻滾目標的運動狀態進行實時的預測與估計。而且，相機在接近目標過程中，目標在像素平面所占像素的多少會發生幾倍以上的變化，因此需要相應的視覺檢測算法，能夠根據目標與相機間笛卡爾空間相對位姿的變化自動地調整視覺檢測參數，實現目標的檢測。

發明內容

本發明的目的是針對目前柔性臂末端手眼相機檢測運動目標信息時檢測結果與目標當前的運動狀態不一致，存在時延現象的問題，以及相機在接近目標過程中，目標在像素平面大小變化大，檢測條件難以設定的問題，提供一種基于柔性臂手眼相機的自適應視覺測量方法，用于對特定目標(比如是太空中翻滾的故障衛星等)從一定距離下接近到進行抓取等任務全過程的自適應識別和位姿解算，也可以用于其它環境和工況下對目標的位姿檢測。此外，也提供了一套柔性機械臂視覺測量系統，用于模擬測試方法的效果和精度。

本發明為解決上述技術問題，采用以下多個方面的技術方案實現。

本發明的技術方案一方面涉及一種基于柔性臂手眼相機的自適應視覺測量方法，包括以下步驟：A、確定目標在柔性臂末端的手眼相機像素平面的給定范圍，以確定目標搜索區域和視覺檢測條件；B、通過濾波算法及邊緣檢測、提取和擬合算法提取目標上的至少一個自然特征，并且解算目標在笛卡爾空間的位姿及其在像素平間上的位置和大小；C、通過解算的目標位姿，且解算目標與手眼相機間的運動規律，利用卡爾曼濾波器計算所述的目標在解算結束時刻的位姿，然后通過開始解算時刻的所述的目標在像素平面的位置和大小，結合目標與手眼相機的運動規律，利用卡爾曼濾波器計算下一時刻目標在像素平面的位置和大小，從而確定新的搜索區域和搜索條件；D、通過新確定的搜索區域和搜索條件，識別目標和解算目標位姿，并返回步驟C，直至所述的手眼相機與目標的距離超出預設范圍。

進一步，所述步驟A包括以下步驟：A1、在拍攝前，通過驅動柔性臂運動以調整臂形，使目標在所述的手眼相機中完整成像且靠近像素平面中間位置；A2、劃定所述目標的ROI區域，以縮小搜索范圍；A3、基于初步的估測手眼相機與目標之間的歐拉距離及誤差，設定目標的視覺檢測條件。

進一步，所述步驟A3包括以下步驟：

針對目標的滾轉及平動的運動規律，跟蹤目標上的多個標志物翻滾時出現的頻率，計算目標在空間坐標系下t時刻的三軸分量滾轉角速度w_x(t)、w_y(t)和w_z(t)，以確定手眼相機與目標之間的歐拉距離以及滾轉和平動引起的運動誤差，其中，