[發明專利]基于Kinect攝像機的人機協作裝置及方法

有效

• 申請號: 201310103254.1
• 申請日: 2013-03-28
• 公開（公告）號: CN103170973A
• 公開（公告）日: 2013-06-26
• 發明（設計）人: 黃誠;胡彩虹;賀波;許偉明;張磊;朱記全;邱展輝;張大慶
• 申請（專利權）人: 上海理工大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/02
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

技術領域

本發明涉及圖像處理和目標跟蹤技術，特別涉及一種安全的人機協作。

背景技術

傳統的研究人機交接系統，主要是依靠參與者來配合機器人的工作，而且要求試驗者高度的集中精力，以免在實驗的過程中發生危險，這樣給試驗者帶來了很大的壓力。

一般的跟蹤技術大都是基于二維圖片技術來的，以前大多數利用HMM方法來識別人手的動作，Weinland等在2007年將HMM方法和三維建模結合起來識別人的運動，由于上述是基于2維空間即使沒有干擾下精度也不是很高。Wu等在2007年利用RFID方法在試驗者手腕貼標簽的方法來跟蹤和識別。

常用來進行目標檢測的方法主要有三種，包括背景相減法、光流計算法和幀差法。其中光流法的優勢是在攝像機運動的情況下檢測出獨立運動的目標，但其抗噪性差且計算量較大，不適合實時處理；幀差法的優勢是可以很好的適應動態環境，但由于位置不準確，不能很好的提取出運動目標的所有相關點；傳統的背景相減法首先要在沒有目標出現的場景中提取一個背景模型，并保存為背景圖像，然后將當前幀與背景模型相減。?如果象素值相減的結果大于某一特定值(即閾值),?則可確定該象素點是運動目標上的某點,?否則屬于背景圖像。背景相減法得到的結果可以確定出目標的位置以及形狀等信息,然而此方法對外界環境比如光線、天氣等的變化比較敏感,同時容易受到目標運動過程陰影的影響。

傳統的路徑規劃算法有多邊形擬合法、柵格法、人工勢場法、遺傳算法等。但這些方法都需要在個確定的空間內對障礙物進行建模，計算復雜度與機器人自由度呈指數關系，不適合解決多自由度機器人在復雜環境中的規劃。新的基于快速擴展隨機樹（RRT）的路徑規劃算法，通過對狀態空間中的采樣點進行碰撞檢測，避免了對空間的建模，能夠有效地解決高維空間和復雜約束的路徑規劃問題。該方法的特點是能夠快速有效地搜索高維空間，通過狀態空間的隨機采樣點，把搜索導向空白區域，從而尋找到一條從起始點到目標點的規劃路徑，適合解決多自由度機器人在復雜環境下和動態環境中的路徑規劃。

但是，基于關節空間的RRT?方法有以下的不足：

1.?基于關節空間的RRT法無法解決CP（Continue-path-problem，連續路徑問題）問題和準CT問題(quasi-continuoustrajectory?problem，即僅部分限定末端執行器的運動軌跡)。

2.??基于關節空間的RRT?法無法預知機械臂末端執行器運動軌跡，造成末端執行器運動與關節運動分離，不利于任務的完成。

總的來說，如果需要控制或者約束機械臂末端執行器的運動軌跡，基于關節空間的RRT?法是無能為力的。

發明內容

針對上述問題，本發明所涉及的一種基于攝像機的人機協作的裝置及其方法，可以精確的對空間位置進行定位，可通過人體骨骼的提取方法可以容易的獲取人體信息，可通過圖像計算中的聚類方法可以精確的得到目標物的位置信息，可利用基于工作空間的快速擴展隨機算法可以得到較好的壁障效果，可以為雙臂機器人協作打下基礎。

本發明為了實現上述目的，可以使用以下方案：

本發明提供了一種與試驗員協作從而實現對目標物進行跟蹤和協作的人機協作裝置，其特征在于，具有：至少1個機械手，用于抓握目標物；至少1個機械臂，機械臂的底部為基座，機械臂的末端安裝有機械手；至少1個攝像機，對空間位置進行立體定位，采集彩色圖像信息、深度圖像信息和試驗員的骨骼信息；至少1個棋盤格，用于標定機械臂末端的位置；以及至少1臺計算機，其中，計算機用于處理彩色圖像信息、深度圖像信息和骨骼信息，處理空間位置的相互關系，實現對目標物進行跟蹤和與試驗員進行協作，計算機與機械臂通過控制器局域網絡總線連接，并且控制機械臂的運動與機械手的運動。