[發明專利]面向多自由度機器人的手勢交互方法、系統、裝置及介質

在審

• 申請號: 202110466803.6
• 申請日: 2021-04-28
• 公開（公告）號: CN113183133A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張平;孫迪鋼
• 申請（專利權）人: 華南理工大學
• 主分類號: B25J9/00
• 分類號: B25J9/00;B25J9/16;G06F3/01;G06K9/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

本發明公開了一種面向多自由度機器人的手勢交互方法及系統，其中方法包括以下步驟：獲取手勢視頻；從所述手勢視頻的視頻幀中獲取手勢圖像；根據手勢圖像識別出手勢語義信息或手部姿態信息；基于當前的控制模式，根據手勢語義信息或手部姿態信息獲取控制機器人的控制指令；所述手勢語義信息用于基本移動方向或基本姿態角的控制；所述手部姿態信息用于任意移動方向的控制或任意姿態的映射。本發明通過集成手部姿態估計和手勢語義識別功能，實現對對機器人末端位置和姿態更加靈活的控制；另外，無需穿戴或手持傳感器，用戶交互體驗更好，可廣泛應用于人機交互技術領域。

技術領域

本發明涉及人機交互技術領域，尤其涉及一種面向多自由度機器人的手勢交互方法及系統。

背景技術

人機交互接口是人類將控制意圖傳遞給機器人的中介，隨著多自由度機器人的廣泛應用，對交互方式的自然性和通用性、位置和姿態控制的精確性和快速性的綜合平衡日益成為人機交互系統的基本要求。

多自由度機器人需要面對搬運、裝配、涂膠、焊接、打磨等各種各樣的生產任務，對機器人末端的位置和姿態的控制精度要求也不同。搬運、裝配一類任務一般只對軌跡起始和終止位置的機器人末端位置和姿態精度有較高要求；而涂膠、焊接、打磨一類任務則對機器人運行軌跡全程的末端位置和姿態都有較高的精度要求。在有些作業場景中(比如汽車框架焊接)，機器人末端需要在一個受限的狹窄空間中完成相關操作，這對機器人末端位置和姿態的控制精度提出了更高要求。此外，在一些高溫、高濕、高壓、有毒的極限環境中，人類不能直接進入，這就需要交互方式能夠支持遙控操作。

對多自由度機器人的交互控制主要涉及末端的位置和姿態兩個方面。目前廣泛使用的通過示教器對機器人進行編程還是一種“以機器為中心”的人機交互模式，不能滿足人類意圖自然表達的需求。拖動示教通過手持牽引機器人以某種固定或變化的姿態沿特定軌跡移動，同時記錄移動過程中的位姿數據，以直觀方式對機器人進行示教；但是，拖動示教需要機器人本體能夠拖動，手持拖動的精度難以把控，而且拖動不是一種可遙控的操作。語音和手勢是人類在日常生活中普遍使用的交互方式，但是語音對于快速人機交互控制中常用的任意方向和任意姿態的描述能力較差，而手勢則在這方面具有天然優勢。

基于手勢的交互方式主要包括基于手勢軌跡跟隨、基于手勢語義、基于手勢姿態等?；谑謩蒈壽E跟隨的方式通過讓機器人末端跟隨人手的移動軌跡運動來實現機器人的控制；基于手勢語義的方式通過識別手勢語義，讓機器人執行預定義的相應動作實現機器人控制；基于手部姿態的方式從手部姿態中提取出方向指示信息或直接通過姿態映射的方式實現機器人運動方向和姿態的控制。以上三種方式各有其優缺點：基于手勢軌跡跟隨的方式表達自然，可以表示連續的軌跡和姿態，但是受限于手部動作影響，軌跡精度對于工業機器人來說是不夠的，需要大量的后續處理；基于手勢語義的方式需要進行動作分解，而且手勢的種類不能太多，以免造成識別精度下降和用戶記憶負擔過重，但是手勢語義適合用于位置和姿態的精細微調；基于手部姿態的方式適合方向和姿態的快速交互，但是受人類表達和機器感知能力的限制，在精度方面有所欠缺。

發明內容

為至少一定程度上解決現有技術中存在的技術問題之一，本發明的目的在于提供一種面向多自由度機器人的手勢交互方法及系統。

本發明所采用的技術方案是：

一種面向多自由度機器人的手勢交互方法，包括以下步驟：

獲取手勢視頻；

從所述手勢視頻的視頻幀中獲取手勢圖像；

根據手勢圖像識別出手勢語義信息或手部姿態信息；

基于當前的控制模式，根據手勢語義信息或手部姿態信息獲取控制機器人的控制指令；

所述手勢語義信息用于基本移動方向或基本姿態角的控制；

所述手部姿態信息用于任意移動方向的控制或任意姿態的映射。