[發(fā)明專利]一種基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010535361.1
• 申請日: 2020-06-12
• 公開（公告）號: CN111782035A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 蘇波;王友初;楊謹忠
• 申請（專利權(quán)）人: 深圳增強現(xiàn)實技術(shù)有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 深圳市德錦知識產(chǎn)權(quán)代理有限公司 44352
• 代理人: 丁敬偉

1.一種基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，包括AR遠程端；

AR遠程端采集現(xiàn)實場景畫面的圖像；

AR遠程端接收或獲取預(yù)置的虛擬物體庫中的虛擬物體，該虛擬物體與現(xiàn)實場景畫面的圖像之間具有對應(yīng)位置關(guān)系；

將虛擬物體與現(xiàn)實場景畫面的圖像進行疊加處理，生成合成圖像；

在AR遠程端的顯示界面上呈現(xiàn)合成圖像；

其中，將虛擬物體與現(xiàn)實場景畫面的圖像進行疊加處理，生成合成圖像的步驟包括有，

獲取圖像中每個像素點的深度信息；

利用基于歐氏聚類的分割算法分割出圖像中用于疊加的近似平面α；

將虛擬物體旋轉(zhuǎn)后疊加到近似平面α，生成合成圖像。

2.根據(jù)權(quán)利要求1所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，

所述虛擬物體進行旋轉(zhuǎn)的歐拉角與近似平面α的歐拉角一致，近似平面α的歐拉角是由水平平面經(jīng)過世界坐標(biāo)系的“Z—X—Y”軸順序旋轉(zhuǎn)成近似平面α的過程中所轉(zhuǎn)過的角度。

3.根據(jù)權(quán)利要求2所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，

經(jīng)過近似平面α的指定點(x,y,z)的豎直向上的向量繞坐標(biāo)系的Z軸逆時針旋轉(zhuǎn)弧度roll，再繞X軸旋轉(zhuǎn)弧度pitch，再繞Y軸旋轉(zhuǎn)弧度yaw，得到近似平面α上指定點(x,y,z)的法向量β＝(x,y,z)，獲得近似平面α的歐拉角為(pitch,yaw,roll)。

4.根據(jù)權(quán)利要求3所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，

近似平面α的歐拉角為(pitch,yaw,roll)的算法公式如下：

其中，roll取[-π,π]范圍內(nèi)的一個隨機數(shù)，并且pitch∈[-π,π]，yaw∈[-π,π]，x、y、z為近似平面α上的指定點在世界坐標(biāo)系下的坐標(biāo)值。

5.根據(jù)權(quán)利要求1或2所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，所述“AR遠程端采集現(xiàn)實場景畫面的圖像”的步驟包括：

獲取現(xiàn)實場景畫面的圖像中各個像素點的深度信息，深度信息包括像素點的坐標(biāo)值(x₁，y₁，z₁)；

將像素點的坐標(biāo)值轉(zhuǎn)換為世界坐標(biāo)系下的坐標(biāo)值(x,y,z)。

6.根據(jù)權(quán)利要求1或2所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，所述虛擬物體庫設(shè)置于AR遠程端，或者是虛擬物體庫設(shè)置于后臺服務(wù)器，AR遠程端通過網(wǎng)絡(luò)通訊與后臺服務(wù)器連接。

7.根據(jù)權(quán)利要求1所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，

將虛擬物體與現(xiàn)實場景畫面的圖像進行疊加處理是通過Unity3d引擎來實現(xiàn)，Unity3d中的坐標(biāo)系與世界坐標(biāo)坐保持一致。

8.根據(jù)權(quán)利要求1所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，還包括有后臺服務(wù)器和指導(dǎo)端，指導(dǎo)端通過后臺服務(wù)器與AR遠程端通訊連接；

指導(dǎo)端接收AR端采集的現(xiàn)實場景畫面的圖像；

指導(dǎo)端在圖像中添加由用戶輸入的指導(dǎo)標(biāo)注信息和/或從后臺服務(wù)器調(diào)用預(yù)置的虛擬物體庫中的虛擬物體，使虛擬物體和/或指導(dǎo)標(biāo)注信息與現(xiàn)實場景畫面的圖像之間具有對應(yīng)位置關(guān)系；

AR遠程端接收指導(dǎo)標(biāo)注信息和/或虛擬物體，與現(xiàn)實場景畫面的圖像進行疊加處理，生成合成圖像。

9.根據(jù)權(quán)利要求8所述的基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)方法，其特征在于，所述AR遠程端為AR智能眼鏡，所述指導(dǎo)端為電子白板或計算機端。

10.一種基于增強現(xiàn)實技術(shù)的遠程作業(yè)指導(dǎo)系統(tǒng)，其特征在于，包括AR遠程端，AR遠程端包括有：

圖像采集模塊，用于AR遠程端采集現(xiàn)實場景畫面的圖像；

獲取模塊，用于接收或獲取預(yù)置的虛擬物體庫中的虛擬物體，該虛擬物體與現(xiàn)實場景畫面的圖像之間具有對應(yīng)位置關(guān)系；

處理模塊，用于將虛擬物體與現(xiàn)實場景畫面的圖像進行疊加處理，生成合成圖像；

顯示模塊，用于實現(xiàn)在AR遠程端的顯示界面上呈現(xiàn)合成圖像；

其中處理模塊用于執(zhí)行步驟包括有，

獲取圖像中每個像素點的深度信息；

利用基于歐氏聚類的分割算法分割出圖像中用于疊加的近似平面α；

將虛擬物體旋轉(zhuǎn)后疊加到近似平面α，生成合成圖像。