[發明專利]基于增強現實的遠程指導方法、裝置、終端和存儲介質

有效

• 申請號: 201810628312.5
• 申請日: 2018-06-19
• 公開（公告）號: CN108830894B
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 李佩易;周響南
• 申請（專利權）人: 亮風臺(上海)信息科技有限公司
• 主分類號: G06T7/536
• 分類號: G06T7/536;G06T15/20
• 代理公司: 11332 北京品源專利代理有限公司
• 代理人: 孟金喆

本發明實施例公開了一種基于增強現實的遠程指導方法、裝置、終端和存儲介質。該方法包括：獲取目標場景的二維視頻，并將二維視頻發送至遠程端；若遠程指導的指導方式為標注方式，則獲取遠程端于二維視頻中的標記圖像幀中的標記點對應的二維像素坐標；根據預設三維坐標估計規則和二維像素坐標，確定標記點對應的當前相機坐標，其中，當前相機坐標是指于相機坐標系下標記點對應的當前三維空間坐標；根據呈現方式和當前相機坐標，渲染標記點對應的三維虛擬模型，以于目標場景中顯示三維虛擬模型。本發明實施例的技術方案，可以實時跟蹤和渲染標記點，從而提高遠程指導準確度和指導效率。

技術領域

本發明實施例涉及計算機視覺技術，尤其涉及一種基于增強現實的遠程指導方法、裝置、終端和存儲介質。

背景技術

在計算機視覺研究領域中，增強現實(Augmented Reality，AR)可以使得智能設備對所處的場景進行理解，并在現實場景中渲染出本不存在的物體，從而用戶可以從現實場景中獲取更多準確的信息，或者更好的娛樂體驗。在基于增強現實的遠程指導中，需要渲染遠程端的指導人員在某張二維圖像幀上的標記點對應的三維虛擬模型，以使現場端的操作人員可以看到該三維虛擬模型，便于操作準確。

通常，現有的遠程指導存在兩種方式。第一種方式是平面對平面的交互方式，具體為：現場端將攝像頭采集到的二維視頻發送至遠程端，遠程端的指導人員對某張二維圖像幀進行標注后，再將該二維圖像幀傳送至現場端的操作人員，現場端的操作人員以查看圖像的方式來理解遠程端指導人員標注的意思。第二種方式是：現場端上安裝RGB(Red GreenBlue)攝像頭和深度攝像頭兩種不同的傳感器，來同時采集二維圖像以及深度圖像，但只將二維圖像傳送給遠程端的指導人員，遠程端指導人員對二維圖像進行標注后，再傳送至現場端的操作人員。根據采集的深度圖像，計算遠程端指導人員標注的二維像素坐標對應在深度圖像中的深度像素坐標，然后從該深度像素坐標獲取深度信息，從而得到標記點對應的三維空間坐標，現場端的增強現實眼鏡可以通過雙目OST(Optical See-Through，光學透鏡)鏡片將該標記點渲染在真實的現實場景中。

然而，對應第一種遠程指導方式，現場端操作人員只能以查看圖像的方式，來推測遠程端指導人員標注的意思，使得指導不夠直觀。對應第二種遠程指導方式，由于需要在現場端上增加一個深度攝像頭，從而大大增加了硬件的成本。此外，當現場端的操作人員想通過另外的一個角度對標記點進行觀察時，由于該方式不存在跟蹤算法，使得該標記點會標記在錯誤的位置上，從而現場端的操作人員需要在標注時間內，完全保持佩戴的增強現實眼鏡沒有空間上的移動。可見，這種遠程指導方式的實用限制較大。

可見，目前急需一種只利用一個普通RGB攝像頭便可以實時跟蹤和渲染標記點對應的三維虛擬模型的技術方案。

發明內容

本發明實施例提供了一種基于增強現實的遠程指導方法、裝置、終端和存儲介質，以實時跟蹤和渲染標記點，提高遠程指導準確度和指導效率。

第一方面，本發明實施例提供了一種基于增強現實的遠程指導方法，包括：

獲取目標場景的二維視頻，并將所述二維視頻發送至遠程端；

若遠程指導的指導方式為標注方式，則獲取所述遠程端于所述二維視頻中的標記圖像幀中的標記點對應的二維像素坐標；

根據預設三維坐標估計規則和所述二維像素坐標，確定所述標記點對應的當前相機坐標，其中，所述當前相機坐標是指于相機坐標系下所述標記點對應的當前三維空間坐標；

根據呈現方式和所述當前相機坐標，渲染所述標記點對應的三維虛擬模型，以于所述目標場景中顯示所述三維虛擬模型。

第二方面，本發明實施例還提供了一種基于增強現實的遠程指導裝置，包括：

二維視頻獲取模塊，用于獲取目標場景的二維視頻，并將所述二維視頻發送至遠程端；