[發明專利]一種實時3D遠程人機交互系統

在審

• 申請號: 201710034162.0
• 申請日: 2017-01-18
• 公開（公告）號: CN106774942A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 楊辰光;王尊冉;賀波濤
• 申請（專利權）人: 華南理工大學;蘇州晨本智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及到人機交互和實時遠程3D視頻通信領域，尤其是涉及到一種實時3D遠程人機交互系統的技術背景。

背景技術

如今，雙目攝像頭快速發展，如ZED、KINECT等雙目攝像頭，使獲取深度圖像信息越來越便利，并且成本低、精度高。特別是KINECT雙目攝像頭，用戶可以很方便去獲取和使用3D點云數據。將KINCKET運用到一種實時3D遠程人機交互系統中，可以做到在一個較高的精度下節約制造成本。

PCL（Point Cloud Library）的出現，人們處理3D圖片操作變得更加簡單，結果更加穩定。一種實時3D遠程AR交互系統使用PCL去處理采集到的3D點云數據，具有很大的優勢。

AR技術的興起，各種識別人身體部位的3D信息的設備得到快速發展，LEAP MOTION能夠快速、穩定、準確采集到人的手部3D信息，這個為一種實時3D遠程人機交互系統提供了交互技術硬件支持。

學術界已經有一些應用于遠程人機交互系統和3D視頻實時傳輸的相關專利，主要有：

1.中國公開專利：CN 103793060 A 一種用戶交互系統和方法：交互界面的虛擬物體跟隨提取人手的3D位置信息移動，該發明實現了3D交互系統，但是該發明只是單方向交互，并且用戶必須佩戴頭戴式3D顯示器等，使用者操作繁瑣。

2.中國公開專利：CN 105389006 A 一種基于Kinect的裸眼3D交互改進方法：利用 Kinect 采集到人手關節信息進行交互，但是在交互之前必須調整Kinect 到合適的位置和角度，由于安裝復雜，限制了其使用范圍。

3.中國公開專利：CN 103269423 A 可拓展式三維顯示遠程視頻通信方法：利用RGB-D相機采集到人物圖像，經過處理并發送到第二個用戶，第二個用戶接收并顯示任務圖像信息和播放聲音，該發明只是實現了信息提取和傳輸，并沒有雙向交互過程。

發明內容

本發明是實現一種實時3D遠程交互系統，目的是在裸眼3D效果下，實現人與3D投影交互，其中3D投影是遠程的操作的替身。本發明可概述為兩大部分，分別是服務操作端、客戶交互端，其中客戶交互端為移動機器人。服務操作端至少包括一臺電腦、深度攝像機、服務操作端圖像處理模塊、服務操作端數據發送/接收模塊、服務操作端命令處理模塊、服務操作端3D圖像顯示模塊；客戶交互端至少包括一臺電腦、leap motion、客戶交互端3D圖像顯示模塊、客戶交互端命令處理模塊、客戶交互端圖像處理模塊、客戶交互端數據發送/接收模塊、手的信息處理模塊。

服務操作端和客戶交互端實現實時在線通訊，服務操作端將3D圖像和操作命令發送給客戶交互端，客戶交互端把交互結果發送給服務操作端。

服務操作端數據發送/接收模塊和客戶交互端數據發送/接收模塊，用來發送和接收網絡數據，且必須可以處理大數據。

服務操作端可顯示交互結果的3D效果，客戶交互端可顯示操作者信息和命令（或者指導信息）的3D效果。

服務操作端圖像處理模塊和服務操作端命令處理模塊，分別用來對點云數據進行處理（如濾波、分割、重建）、處理操作者命令和客戶交互端發送過來的命令；客戶交互端圖像處理模塊、渲染模塊和客戶交互端命令處理模塊，分別用來對點云數據進行存儲（如濾波、分割、重建）、渲染3D圖像、處理服務操作端發送過來的操作者命令和客戶交互的結果。

客戶交互端手的信息處理模塊，可以對leap motion獲得數據進行處理，從而達到對模擬鼠標的控制。

服務操作端可以對客戶交互端的移動機器人進行控制，可以在客戶交互端顯示操作者的命令；客戶在客戶交互端可以和3D投影進行交互，交互結果可以更新在投影上和發送到服務操作端。

本發明具體操作過程如下：

服務操作端：實現操作者上本身的3D點云數據采集、3D點云數據處理、命令處理、數據發送/接收功能。實施步驟如下：

1.深度相機采集操作者上身的3D點云數據，3D點云數據通過串口傳輸到近端電腦上；

2.服務操作端電腦接收到3D點云數據，將3D點云數據進行濾波、分割、重建等處理工作；

3.將處理好的3D點云數據和操作者對遠端的操作命令一起打包數據包；

4.把打包好的數據包發送遠端和接收客戶交互端發送過來的命令；

5.解析遠端發送反饋過來的命令，顯示給操作者；

6.循環1-5步驟。