[發(fā)明專利]一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法

有效

• 申請?zhí)枺?/td>: 201710213574.0
• 申請日: 2017-04-01
• 公開（公告）號: CN106826838B
• 公開（公告）日: 2019-12-31
• 發(fā)明（設(shè)計）人: 梅雪松;趙萬秋;蔡航航;張朝輝;邊旭;李智;許瑨;霍權(quán)
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 61215 西安智大知識產(chǎn)權(quán)代理事務(wù)所
• 代理人: 劉國智

本發(fā)明公開了一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，通過搭建多自由度的仿生機械臂和機械手，以中央處理器作為控制板，將其分別與驅(qū)動板、Kinect視覺深度傳感器相連接；Kinect視覺深度傳感器包括RGB攝像機、空間深度攝像機和語音檢測電路；Kinect視覺深度傳感器識別辨別目標(biāo)人手臂的二維肢體輪廓，獲取肢體輪廓的二維信息；控制板將接收的信息解算，獲得仿生機械臂的位置、角度、速度信息，轉(zhuǎn)化成控制指令；驅(qū)動板根據(jù)控制指令驅(qū)動電機和/或舵機動作，各個關(guān)節(jié)配合完成跟隨目標(biāo)人手臂的動作，完成肢體模仿控制。本發(fā)明可以根據(jù)kinect傳感器獲得的人體動作數(shù)據(jù)及語音指令，通過解算完成一系列對應(yīng)的空間位置變換，實現(xiàn)包括肢體模仿控制、語音控制以及實時人機動作交互。

技術(shù)領(lǐng)域

本發(fā)明屬于機器人技術(shù)領(lǐng)域，涉及一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法。

背景技術(shù)

機器人可以分為專業(yè)領(lǐng)域服務(wù)機器人和個人/家庭服務(wù)機器人，機器人的應(yīng)用范圍很廣，主要從事維護保養(yǎng)、修理、運輸、清洗、保安、救援、監(jiān)護等工作。機械手臂是機械人技術(shù)領(lǐng)域中得到最廣泛實際應(yīng)用的自動化機械裝置，在工業(yè)制造、醫(yī)學(xué)治療、娛樂服務(wù)、軍事、半導(dǎo)體制造以及太空探索等領(lǐng)域都能見到它的身影。仿生機械臂應(yīng)用范圍廣泛，常常與機器人配合使用，是機器人家族中的一個重要組成部分。

對于機器人來說，仿生機械臂很重要，它通過相應(yīng)的動作可以完成不同任務(wù)，更好地為人服務(wù)，或?qū)崿F(xiàn)交互娛樂等功能。多自由度的機械臂更為靈活，同時配合靈巧仿生手，運用多傳感器技術(shù)，能夠更好地為人服務(wù)，滿足各種機器人靈活的要求。

發(fā)明內(nèi)容

本發(fā)明解決的問題在于提供一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，實現(xiàn)仿生機械臂的肢體模仿控制、語音控制以及實時人機動作交互及協(xié)作。

本發(fā)明是通過以下技術(shù)方案來實現(xiàn)：

一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，包括以下操作：

1)搭建多自由度的仿生機械臂和機械手，其中的關(guān)節(jié)由電機驅(qū)動，手指由舵機拉線牽引，電機和舵機分別由驅(qū)動板提供動力源；

2)以中央處理器作為控制板，將其分別與驅(qū)動板、Kinect視覺深度傳感器相連接；Kinect視覺深度傳感器包括RGB攝像機、空間深度攝像機和語音檢測電路；

3)Kinect視覺深度傳感器識別辨別目標(biāo)人手臂的二維肢體輪廓，獲取肢體輪廓的二維信息；利用空間深度攝像機捕獲的空間深度信息，將肢體輪廓的二維信息擴展為三維空間方位信息，然后將三維空間方位信息作為肢體模仿的輸入信息發(fā)送給控制板；

4)控制板將接收的信息解算，獲得仿生機械臂的位置、角度、速度信息，轉(zhuǎn)化成控制指令，發(fā)送給驅(qū)動板；

5)驅(qū)動板根據(jù)控制指令驅(qū)動電機和/或舵機動作，各個關(guān)節(jié)配合完成跟隨目標(biāo)人手臂的動作，完成肢體模仿控制。

所述的Kinect視覺深度傳感器的語音檢測電路還接收目標(biāo)聲波信號，并將其轉(zhuǎn)化為二進制量化數(shù)據(jù)發(fā)送給控制板；

控制板將接收的信息解算后識別目標(biāo)聲波信號的語音指令內(nèi)容，再根據(jù)語音指令內(nèi)容調(diào)取相應(yīng)的控制指令傳輸給驅(qū)動板，控制指令為預(yù)置的能夠完成指定動作的機械臂控制代碼；

驅(qū)動板根據(jù)控制指令驅(qū)動電機和/或舵機動作，各個關(guān)節(jié)配合完成語音指令內(nèi)容，完成語音控制。

將肢體模仿控制和語音控制相結(jié)合，完成實時人機動作交互：

Kinect視覺深度傳感器捕獲交互目標(biāo)的肢體動作的同時，還接收交互目標(biāo)的語音指令，將捕獲的信號發(fā)送給控制板；

控制板將交互目標(biāo)肢體動作和語音指令結(jié)合起來，控制板優(yōu)先生成肢體模仿控制指令，在完成模仿控制指令的同時響應(yīng)語音指令；