[發明專利]基于可穿戴視覺的機器人視覺跟蹤控制系統及控制方法

有效

• 申請號: 202011229307.0
• 申請日: 2020-11-06
• 公開（公告）號: CN112405530B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 紀鵬;馬鳳英;張慧;張芳芳;王斌鵬;曹茂永
• 申請（專利權）人: 齊魯工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于可穿戴視覺的機器人視覺跟蹤控制系統及方法，包括：主端可穿戴遙操作控制裝置，被配置為用于通過手勢向從端機器人遠程發送控制指令、接收從端機器人采集的數據，并執行手勢識別算法和目標跟蹤算法；從端機器人，被配置為接收控制指令，并根據所述控制指令執行相應的動作，并向主端可穿戴遙操作控制裝置返回采集到的數據；所述主端可穿戴遙操作控制裝置包括可穿戴攝像頭和頭戴顯示模塊，用于采集手勢圖像和顯示從端機器人采集到的數據以及手勢控制指令的運動軌跡。本發明設置的可穿戴控制系統可使操作員通過手勢方便地控制移動機器人車載偵察系統快速瞄準目標與跟蹤目標。

技術領域

本發明涉及移動機器人的遠程控制技術領域，尤其涉及一種基于可穿戴視覺的機器人視覺跟蹤控制系統及控制方法。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

移動偵察機器人通常是由移動機器人車體和車載偵察系統組成，它可以執行戰場抵近偵察監視、目標瞄準、目標跟蹤和目標打擊等任務。傳統的車載偵察系統一般是由兩自由度的云臺和攝像頭組成，偵察系統的視角由云臺的俯仰角和偏轉角決定。為了使車載偵察系統的偵察視角更加自由更加靈活，也可以將云臺替換為多自由度機械臂，并將攝像頭安裝在機械臂末端。

移動偵察機器人的控制器一般為帶有按鈕、搖桿、鼠標和監控屏幕的手持式控制箱。操作人員通過按鈕和搖桿控制機器人運動，通過監控屏幕觀察車載偵察系統反饋的視頻。車載偵察系統在自動跟蹤可疑目標前，操作人員需要在監控屏幕上通過人機交互設備手動框選可疑目標，其中最常用的人機交互設備是鼠標。

近些年來，出現了基于可穿戴設備的控制方式，其中較為常見的控制方式是使用佩戴數據手套或者慣性元件采集操作員的手勢的姿態信息和慣性信息并以此來控制機器人；另一種較為常見的控制方式是使用可穿戴攝像頭來捕捉操作員手勢的圖像信息，然后結合模式識別方法分析手勢的種類，并根據手勢種類信息實現對機器人行為的控制。相比傳統的手持式控制箱，基于可穿戴設備的控制方式更加輕便，但是目前操作員還無法使用這種方式快速有效地在監控視頻中選取待跟蹤的可疑目標，這也導致使用可穿戴設備的控制方式無法快速有效地使機器人實現對可疑目標的瞄準、跟蹤與擊打。

發明內容

為了解決上述問題，本發明提出了一種基于可穿戴視覺的機器人視覺跟蹤控制系統及控制方法，通過可穿戴攝像頭來識別操作員手勢的軌跡，并將操作員手勢的運動軌跡所劃定的區域作為目標跟蹤算法中的初始跟蹤區域，實現對監控視頻中待跟蹤目標的手動選取，以解決現有基于可穿戴設備的控制方式無法快速有效地控制移動機器人瞄準目標、跟蹤目標和擊打目標的問題。

在一些實施方式中，采用如下技術方案：

一種基于可穿戴視覺的機器人視覺跟蹤控制系統，包括：

主端可穿戴遙操作控制裝置，被配置為用于通過手勢向從端機器人遠程發送控制指令、接收從端機器人采集的數據，并執行手勢識別算法和目標跟蹤算法；

從端機器人，被配置為接收控制指令，并根據所述控制指令執行相應的動作，并向主端可穿戴遙操作控制裝置返回采集到的數據；

所述主端可穿戴遙操作控制裝置包括可穿戴攝像頭和頭戴顯示模塊，分別用于采集手勢圖像和顯示從端機器人采集到的數據以及手勢控制指令的運動軌跡。

在另一些實施方式中，采用如下技術方案：

一種基于可穿戴視覺的機器人視覺跟蹤控制方法，包括：

設置用于表示手勢運動軌跡開始保存和停止保存的鼠標手型；

分別設置主端可穿戴遙操作控制裝置可穿戴攝像頭拍攝圖像的坐標系和從端機器人拍攝圖像的坐標系，以及從端機器人多自由度機械臂的末端坐標系；

主端可穿戴遙操作控制裝置通過采集主端操作圖像，判斷圖像中是否出現鼠標手型；