[發明專利]一種基于雙目視覺采集的靈巧手控制方法及裝置

有效

• 申請號: 202110762337.6
• 申請日: 2021-07-06
• 公開（公告）號: CN113561172B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王豫;閆亞東;成暢;官明俊;張佳楠
• 申請（專利權）人: 北京航空航天大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06N3/0464;G06N3/08;G06T7/73
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 沈軍

本發明提供一種基于雙目視覺采集的靈巧手控制方法及裝置，基于雙目視覺采集的靈巧手控制方法包括：控制多個雙目相機以不同的拍攝角度采集人手的深度圖像；依據多個雙目相機采集的深度圖像，獲取人手的抓握姿態；依據人手的抓握姿態，確定靈巧手的抓握姿態，依據靈巧手的抓握姿態，確定靈巧手上多個驅動器的執行空間向量；依據執行空間向量控制多個驅動器動作，以使得靈巧手執行抓握動作；其中，多個雙目相機當中的至少兩者的光軸形成夾角。本發明可根據實際需求實現對靈巧手抓握姿態的便捷性控制，不再受限于靈巧手上驅動器數量的限制，不僅控制方案簡單，而且提升了對靈巧手的控制準確度與靈敏度。

技術領域

本發明涉及機器人技術領域，尤其涉及一種基于雙目視覺采集的靈巧手控制方法及裝置。

背景技術

靈巧手是具有多種感知功能的仿生機械手。在靈巧手的手掌上設有多個類似人手結構的手指，例如：靈巧手的大拇指設有一個相對其手掌運動的自由度，靈巧手上其它的每個手指具有三個自由度和四個活動關節，以使得靈巧手能夠以不同的抓握姿態對目標物進行精準地抓握。

傳統靈巧手的控制方法需要對靈巧手的手勢進行一一定義，靈巧手的每一個抓握動作都需要對靈巧手上各個不同執行器的位置進行相應地定義，比較繁瑣且僵硬，難以普遍適用于驅動器數量相對較高的靈巧手，導致難以根據實際需求對靈巧手抓握姿態進行便捷地控制。

發明內容

本發明提供一種基于雙目視覺采集的靈巧手控制方法及裝置，用以解決當前難以根據實際需求實現對靈巧手抓握姿態的便捷控制的問題。

本發明提供一種基于雙目視覺采集的靈巧手控制方法，包括：控制多個雙目相機以不同的拍攝角度采集人手的深度圖像；依據所述多個雙目相機采集的深度圖像，獲取人手的抓握姿態；依據所述人手的抓握姿態，確定靈巧手的抓握姿態，依據所述靈巧手的抓握姿態，確定所述靈巧手上多個驅動器的執行空間向量；依據所述執行空間向量控制所述多個驅動器動作，以使得所述靈巧手執行抓握動作；其中，所述多個雙目相機當中的至少兩者的光軸形成夾角。

根據本發明提供的一種基于雙目視覺采集的靈巧手控制方法，所述依據所述多個雙目相機采集的深度圖像，獲取人手的抓握姿態，進一步包括：將所述深度圖像輸入至識別模型，獲取所述識別模型輸出的與人手對應的手掌的三維點云圖像及各個手指關節的三維點云圖像；依據手掌的三維點云圖像及各個手指關節的三維點云圖像，確定在三維空間中手掌和各個手指關節的位置，計算出各個深度圖像中手掌的角度及各個手指關節的角度；其中，所述手掌的角度表征著所述深度圖像中的手掌相對于與所述深度圖像對應的雙目相機的光軸的夾角，所述各個手指關節的角度表征著所述深度圖像中的各個手指關節相對于與所述深度圖像對應的雙目相機的光軸的夾角。

根據本發明提供的一種基于雙目視覺采集的靈巧手控制方法，所述依據所述多個雙目相機采集的深度圖像，獲取人手的抓握姿態，進一步包括：根據所述手掌的角度及各個手指關節的三維點云密度，確定各個深度圖像中的每個手指關節的角度的確信值；以多個所述確信值當中最大一者對應的手指關節的角度作為人手的手指關節的角度預測。

根據本發明提供的一種基于雙目視覺采集的靈巧手控制方法，所述依據所述人手的抓握姿態，確定靈巧手的抓握姿態，依據所述靈巧手的抓握姿態，確定所述靈巧手上多個驅動器的執行空間向量，進一步包括：依據所述人手的抓握姿態，獲取人手的手指關節的第一角度空間向量；依據第一角度空間向量，確定靈巧手的第二角度空間向量；依據靈巧手的第二角度空間向量至驅動器的執行空間向量的映射函數，確定所述驅動器的執行空間向量。

根據本發明提供的一種基于雙目視覺采集的靈巧手控制方法，所述依據所述人手的抓握姿態，確定靈巧手的抓握姿態，依據所述靈巧手的抓握姿態，確定所述靈巧手上多個驅動器的執行空間向量，進一步包括：在第一角度空間向量的數量與執行空間向量的數量相同的情況下，依據下述公式確定所述驅動器的執行空間向量：

S_i＝T(V_i)；