[發明專利]一種基于AR眼鏡云機器人全息評審系統及方法

在審

• 申請號: 201810965333.6
• 申請日: 2018-08-23
• 公開（公告）號: CN108874153A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 郭帥;管大為;岳承濤;莢啟波;李育文;宋韜
• 申請（專利權）人: 上海機器人產業技術研究院有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06T17/00;G06T19/20
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明的一個技術方案是提供了一種基于AR眼鏡云機器人全息評審系統，其特征在于，包括本地設備及機器人云平臺系統，其中，為每個位于異地的用戶配備一套本地設備，所有位于異地的本地設備之間通過機器人云平臺系統實現數據交互。本發明的另一個技術方案是提供了一種兩位用戶利用上述的全息評審系統進行機器人全息評審的方法。本發明可以將遠程工程師的動作、對三維模型的修改和語音發送至另一位與之交流的工程師實現全息通話，可以讓己方工程師了解到對方工程師的視線、動作、對全息模型的操作和語音，極大程度上還原了對機器人設備的現場評審過程，提高了效率，縮短了異地評審的周期。

技術領域

本發明一種基于AR眼鏡云機器人全息評審系統及基于該系統的評審方法，屬于機器人云平臺技術領域。

背景技術

目前基于AR眼鏡的異地交流模式基本上是AR眼鏡和移動端或者PC端的遠程視音頻通訊，交流方式比較單一。申請公布號為CN108170273A、申請公布日為2018年6月15日的中國發明專利申請公開了一種基于hololens眼鏡的專家遠程指導系統及實現方法，包括hololens智能眼鏡、無線路由器、服務器、終端設備，hololens智能眼鏡將采集的音視頻通過服務器轉發至終端設備，專家在終端設備上輸入指導內容，終端設備記錄下指導內容，并將指導內容通過服務器轉發至hololens智能眼鏡，并在視野中顯示，通過喇叭播放出專家的指導語音；后臺終端自動生成維修記錄視頻文件，并上傳到服務器中。

上述專利申請的技術方案可以實現與專家端的遠程視音頻通訊以及空間錨點的標注，其僅能實現視音頻通話和空間錨點的標注，并不能夠顯示三維空間信息，無法達到現場交流演示的效果。

發明內容

本發明的目的是：提供一種能夠實現現場交流演示的基于AR眼鏡的異地交流系統，用于對機器人進行全息評審。本發明的另一個目的是提供一種基于上述系統的方法。

為了達到上述目的，本發明的一個技術方案是提供了一種基于AR眼鏡云機器人全息評審系統，其特征在于，包括本地設備及機器人云平臺系統，其中，為每個位于異地的用戶配備一套本地設備，所有位于異地的本地設備之間通過機器人云平臺系統實現數據交互，其中：

本地設備包括：

動作捕捉模塊，用于捕捉對應用戶的動作信息，將捕捉到的動作信息發送給同一用戶的AR眼鏡；

本地數據處理單元，從機器人云平臺系統獲取機器人設備三維模型、機器人設備的工作狀況信息、位于異地的用戶的動作信息、位于異地的用戶的語音信息、位于異地的用戶的修改信息后，發送給當前用戶的AR眼鏡；當前用戶可以通過本地數據處理單元對獲取的機器人設備三維模型進行修改，并將修改信息發送給當前用戶的AR眼鏡；

具有語音捕捉及播放功能的AR眼鏡，用于：1)顯示接收自本地數據處理單元的機器人設備三維模型、機器人設備的工作狀況信息、位于異地的用戶的動作信息、位于異地的用戶的修改信息，同時，播放位于異地的用戶的語音信息；2)用于捕捉當前用戶的語音信息；3)將捕捉到的語音信息、來自動作捕捉模塊的動作信息、來自本地數據處理單元的修改信息上傳至機器人云平臺系統。

優選地，所述機器人云平臺系統包括：

機器人工作狀況采集器，用于采集機器人設備所處環境的工況信息數據；

云端機械工作狀況信息處理單元，用于將機器人工作狀況采集器采集的工況信息數據轉換為所述工作狀況信息后，發送給所述本地數據處理單元；

云端數據處理模塊，用于從當前用戶的所述本地數據處理單元獲取動作信息、語音信息及修改信息后發送至云端數據轉發模塊；

云端數據轉發模塊，用于將當前用戶的動作信息、語音信息及修改信息發送至對方用戶的所述本地數據處理單元。