[發明專利]一種基于視覺信息的機械臂遙操作系統及方法

在審

• 申請號: 201810549948.0
• 申請日: 2018-05-31
• 公開（公告）號: CN108828996A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 沈榮;蒲國林;涂樸;黃晨
• 申請（專利權）人: 四川文理學院
• 主分類號: G05B19/042
• 分類號: G05B19/042
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 廖祥文;劉東

1.一種基于視覺信息的機械臂遙操作系統,其特征在于，包括手勢識別控制系統、視頻采集傳輸系統和藍牙通信控制備用系統，所述手勢識別控制系統，用于獲取真實場景的三維位置信息的深度攝像機，

其中，

所述視頻采集傳輸系統，用于視頻信息的采集和收集的嵌入式視頻傳輸平臺；

所述藍牙通信控制備用系統，用于在手勢控制失真或失效的情況下控制機械臂的手機藍牙模塊和機械臂端的藍牙模塊。

2.根據權利要求1所述的基于視覺信息的機械臂遙操作系統，其特征在于，所述手勢識別控制系統用于檢測手勢中心點，利用閾值分割方法分割出操作者手勢的深度圖像。

3.根據權利要求1所述的基于視覺信息的機械臂遙操作系統，其特征在于，所述手勢識別控制系統可基于一般手勢的行為特征和運動軌跡進行分析，按照設定的坐標變換規則，將手勢類型的變化和運動軌跡的變化，映射到機械臂的坐標空間。

4.根據權利要求1所述的基于視覺信息的機械臂遙操作系統，其特征在于，所述手勢識別控制系統還包括無線信號發射裝置，所述無線信號發射裝置將轉換后的操作指令發送到機械臂執行器端實施具體操作。

5.根據權利要求1所述的基于視覺信息的機械臂遙操作系統，其特征在于，所述視頻采集傳輸系統包括用于為操作者提供關注外界場景視角的視頻信息并在機械臂的肩部或者肘部位置設置的場景攝像機；

還包括用于為操作者直接獲取目標平面和抓取對象的位置、姿態的視頻信息在機械臂的末端位置設置的末端攝像機。

6.根據權利要求2所述的基于視覺信息的機械臂遙操作系統，其特征在于，所述視頻采集傳輸系統可基于流媒體技術將視頻圖像在操作者個人終端設備上顯示和存儲。

7.根據權利要求1所述的基于視覺信息的機械臂遙操作系統，其特征在于，所述手機藍牙模塊物理連接有機械臂端的藍牙模塊，所述機械臂端的藍牙模塊物理連接有機械臂關節控制板，操作者通過手機藍牙模塊與機械臂端的藍牙模塊建立通信連接，并通過手機APP發送控制指令給機械臂，操作機械臂執行具體動作。

8.一種基于視覺信息的機械臂遙操作系統的操作方法，其特征在于，

步驟1：操作者使用深度攝像機獲取真實場景深度數據流，其中，真實場景是指操作者自身所處位置以及操作者本人的肢體和手勢動作；其中，深度攝像機是運用先進的紅外線光編碼技術獲取場景三維位置信息；

步驟2：獲取操作者手勢中心點位置，然后以此為圓心，讀取一定閥值范圍內的深度圖像中的像素點，對超出閥值范圍內的圖像予以舍去，最終分割得到操作者手部的深度圖像，同時，將已經分割的操作者手部圖像，顯示在終端設備上；

步驟3：以第一次獲取操作者手勢中心點位置為坐標原點，對操作者手勢軌跡進行實時定位；同時，基于一般手勢的行為特征分析，對操作者手勢類型的變化進行分析并歸類處理；按照設定的坐標變換規則，將手勢類型的變化和運動軌跡的變化，映射到機械臂的坐標空間，轉換得到操作指令；

步驟4：通過無線信號發射裝置，將轉換后的操作指令發送到機械臂執行端實施具體操作，其中機械臂與關節控制板物理連接，操作指令通過無線方式，由上位機發送到關節控制板串口；

步驟5：關節控制板通過串口接收到操作指令后，解析為相應關節的角度和位置控制，完成對機械臂本體的控制；

步驟6：操作者使用智能手機搭載的藍牙通信模塊與機械臂關節控制板上搭載的藍牙通信模塊配對連接；

步驟7：操作者使用智能手機APP，按照規定的通信協議，發送控制指令到關節控制板；

步驟8：按照步驟5所述方式，完成對機械臂本體的控制；

步驟9：在機械臂的肩部或者肘部位置，設置1個以外部視角為中心的場景攝像機，在機械臂的末端位置，設置1個以自我視角為中心的末端攝像機；

步驟10：通過嵌入式視頻圖像處理及傳輸平臺對機械臂上的場景攝像機和末端攝像機采集到的圖像進行處理；

步驟11：運用流媒體技術，將視頻采集傳輸系統采集到的實時視頻，無線或者有線傳輸到操作者終端設備，操作者可以在個人終端設備上顯示或存儲視頻。