[發明專利]一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法

有效

• 申請號: 201710213574.0
• 申請日: 2017-04-01
• 公開（公告）號: CN106826838B
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 梅雪松;趙萬秋;蔡航航;張朝輝;邊旭;李智;許瑨;霍權
• 申請（專利權）人: 西安交通大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 61215 西安智大知識產權代理事務所
• 代理人: 劉國智

1.一種基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，其特征在于，包括以下操作：

1)搭建多自由度的仿生機械臂和機械手，其中的關節由電機驅動，手指由舵機拉線牽引，電機和舵機分別由驅動板提供動力源；

2)以中央處理器作為控制板，將其分別與驅動板、Kinect視覺深度傳感器相連接；Kinect視覺深度傳感器包括RGB攝像機、空間深度攝像機和語音檢測電路；

3)Kinect視覺深度傳感器識別辨別目標人手臂的二維肢體輪廓，獲取肢體輪廓的二維信息；利用空間深度攝像機捕獲的空間深度信息，將肢體輪廓的二維信息擴展為三維空間方位信息，然后將三維空間方位信息作為肢體模仿的輸入信息發送給控制板；

4)控制板將接收的信息解算，獲得仿生機械臂的位置、角度、速度信息，轉化成控制指令，發送給驅動板；

5)驅動板根據控制指令驅動電機和/或舵機動作，各個關節配合完成跟隨目標人手臂的動作，完成肢體模仿控制；

所述的驅動板根據電機或舵機額定電壓和電流提供動力，根據接收控制板的控制信號，傳輸相應的電壓給電機或舵機，使電機和舵機到達指定的位置或按照指定速度移動，完成機械臂的動作。

所述的控制板接收Kinect麥克風采集的聲音數據，語音指令解算分為語音識別和指令轉化，將麥克風采集到的聲音數據識別為具體的語句和文字，供指令轉化使用；

所述的指令轉化為：首先判斷語音識別出的語句關鍵詞是否有效，有效的判定為與指令庫中的數據匹配，匹配到目標則為有效；

指令庫中的數據特征值由用戶對數據庫進行編寫，包含但不僅限于：停止、啟動、跟隨、避讓、X關節移動到Y處；

獲取到的有效語句關鍵詞轉化為動作指令采用數據庫查詢的方式，由預置在數據庫中的對應動作決定動作指令輸出。

2.如權利要求1所述的基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，其特征在于，所述的Kinect視覺深度傳感器的語音檢測電路還接收目標聲波信號，并將其轉化為二進制量化數據發送給控制板；

控制板將接收的信息解算后識別目標聲波信號的語音指令內容，再根據語音指令內容調取相應的控制指令傳輸給驅動板，控制指令為預置的能夠完成指定動作的機械臂控制代碼；

驅動板根據控制指令驅動電機和/或舵機動作，各個關節配合完成語音指令內容，完成語音控制。

3.如權利要求2所述的基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，其特征在于，將肢體模仿控制和語音控制相結合，完成實時人機動作交互：

Kinect視覺深度傳感器捕獲交互目標的肢體動作的同時，還接收交互目標的語音指令，將捕獲的信號發送給控制板；

控制板將交互目標肢體動作和語音指令結合起來，控制板優先生成肢體模仿控制指令，在完成模仿控制指令的同時響應語音指令；

驅動板根據指令內容與人實時協作或人機實時交互。

4.如權利要求1所述的基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，其特征在于，所述的Kinect視覺深度傳感器通過對目標即時采集，對人肢體動作連續采集識別，獲得的肢體三維空間方位信息；

控制板將肢體關節和骨骼分別映射為三維空間中的節點及連桿，關節位置對應節點坐標，骨骼長度對應連桿長度；然后解算獲得相應的目標肢體動作的方位、角度、速度信息；解算出包括對應仿生機械臂各個關節自由度在內的控制指令數據，將控制指令數據傳輸給控制板，實現仿生機械臂對目標肢體動作的模仿。

5.如權利要求1或4所述的基于Kinect視覺深度傳感器的交互仿生機械臂控制方法，其特征在于，控制板收到的信息為視覺深度傳感器采集的RGB彩色圖像和空間深度信息，其中Kinect作為視覺深度傳感器，只負責圖像采集和空間深度信息采集，不參與解算過程；

控制板接收傳輸的信息后進行實時解算：

21)由RGB圖像信息進行灰度梯度分析，識別物體輪廓；

22)對物體輪廓進行分類，識別出屬于人體外貌的輪廓特征；

23)根據人體輪廓圖像，確定人體肢體骨骼走向及關節位置，轉化為連桿和節點坐標，此時獲得的是二位平面上的數據；

24)控制器處理深度傳感器信息，由深度傳感器的空間深度數據，確定步驟23)中節點坐標與傳感器的距離，在步驟23)中解算的二維坐標中加入第三個維度作為深度維度，形成三維空間中笛卡爾坐標系下的三坐標數據；

25)通過空間幾何方法，獲得每一節點處連桿之間的夾角，即實際對應的人肢體關節彎曲程度；

26)將夾角數據經過映射，變換為機械臂各個關節的角度數據；

27)步驟21-26實時進行，所形成的關節的角度數據連續變化，根據連續變化的數據計算各個電機/舵機所需的運行狀態，形成動作指令，即靜止在指定位置或以指令速度運動；

28)圖像和深度數據解算過程中，如接收到交互對象有效的語音指令，則在此步驟將語音指令的解算結果加入動作指令；

29)將機械臂各個關節的動作指令分別發送給相對應關節的驅動器，由驅動器驅動執行電機/舵機運動。