[發(fā)明專利]一種能夠自動(dòng)糾偏的AR沙盤校準(zhǔn)模型計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810054053.X
• 申請(qǐng)日: 2018-01-19
• 公開(kāi)（公告）號(hào): CN108320311B
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 郭云東;王欣捷;吳震;羅浩;劉振宇;譚建榮
• 申請(qǐng)（專利權(quán)）人: 杭州映墨科技有限公司
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T19/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

本發(fā)明公開(kāi)了一種能夠自動(dòng)糾偏的AR沙盤校準(zhǔn)模型計(jì)算方法。首先處理獲得AR沙盤的基準(zhǔn)平面模型，然后在沙盤通過(guò)投影儀投影標(biāo)準(zhǔn)棋盤格圖案，并通過(guò)采集投影圖像進(jìn)行計(jì)算處理得到AR沙盤的投影映射模型，投影映射模型中的深度值采用基準(zhǔn)平面模型進(jìn)行修正，獲得校準(zhǔn)模型。本發(fā)明方法在AR沙盤虛擬場(chǎng)景的實(shí)時(shí)渲染過(guò)程中，校準(zhǔn)得到的基準(zhǔn)平面模型能夠自動(dòng)修正RGB?D傳感器在安裝過(guò)程中不可避免產(chǎn)生的偏差，投影映射模型能夠?qū)GB?D傳感器采集到的原始深度數(shù)據(jù)正確映射到投影儀的屏幕空間，從而保證AR沙盤互動(dòng)體驗(yàn)的沉浸感和極佳的用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種AR(Augment Reality，增強(qiáng)現(xiàn)實(shí))沙盤投影映射方法，尤其涉及一種能夠自動(dòng)糾偏的AR沙盤校準(zhǔn)模型計(jì)算方法。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)，是一種實(shí)時(shí)地計(jì)算攝影機(jī)的位置及角度，從而在真實(shí)影像上疊加合理的圖像、視頻或3D模型的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界疊加在現(xiàn)實(shí)世界中并進(jìn)行互動(dòng)。AR技術(shù)能夠通過(guò)為用戶提供基于真實(shí)場(chǎng)景的虛擬影像，增強(qiáng)用戶的現(xiàn)實(shí)世界體驗(yàn)，提供沉浸式的全新交互方式。AR沙盤是增強(qiáng)現(xiàn)實(shí)技術(shù)的一項(xiàng)重要落地應(yīng)用，主要應(yīng)用場(chǎng)景是早教中心或幼兒園的寓教于樂(lè)式的互動(dòng)課程教學(xué)。

AR沙盤通過(guò)懸掛在沙盤上方的RGB-D傳感器獲取沙盤中沙子高低不平的高度信息，在計(jì)算機(jī)中進(jìn)行三維重建后，將合理的虛擬影像通過(guò)投影儀投射到沙子上，并且在沙子高度發(fā)生變化時(shí)能夠?qū)崟r(shí)地改變投影內(nèi)容，即具備實(shí)時(shí)交互的能力，能夠達(dá)到增強(qiáng)現(xiàn)實(shí)式的沉浸體驗(yàn)。AR沙盤的核心技術(shù)難點(diǎn)在于正確的投影映射，即根據(jù)沙子的高度變化合理地投影出正確的圖像。達(dá)到正確的實(shí)時(shí)投影映射需要準(zhǔn)確的校準(zhǔn)模型。現(xiàn)有的AR沙盤校準(zhǔn)模型計(jì)算方法要求RGB-D傳感器必須嚴(yán)格垂直向下“觀察”沙盤，對(duì)傳感器的安裝精度要求很高，一旦傳感器裝歪就無(wú)法得到正確的校準(zhǔn)模型，也就無(wú)法實(shí)現(xiàn)正確的投影映射，導(dǎo)致投影圖像和沙子之間形成錯(cuò)位，難以達(dá)到增強(qiáng)現(xiàn)實(shí)式的沉浸體驗(yàn)，無(wú)法實(shí)現(xiàn)良好的寓教于樂(lè)的教學(xué)效果。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有AR沙盤校準(zhǔn)模型計(jì)算方法中存在的問(wèn)題，本發(fā)明的目的在于提供一種能夠自動(dòng)糾偏的AR沙盤校準(zhǔn)模型計(jì)算方法，可用于RGB-D傳感器安裝精度不高時(shí)AR沙盤校準(zhǔn)模型的準(zhǔn)確計(jì)算，得到的校準(zhǔn)模型能夠自動(dòng)修正RGB-D傳感器在安裝過(guò)程中不可避免產(chǎn)生的偏差。

校準(zhǔn)完成后得到的基準(zhǔn)平面模型和投影映射模型用于AR沙盤的實(shí)時(shí)互動(dòng)體驗(yàn)，兩種模型協(xié)同工作構(gòu)成了校準(zhǔn)模型，共同保證AR沙盤互動(dòng)體驗(yàn)的高沉浸感和極佳的用戶體驗(yàn)。

本發(fā)明方法采用的技術(shù)方案是主要分為以下幾步，通過(guò)以下特定的交互操作和計(jì)算獲得：

首先處理獲得AR沙盤的基準(zhǔn)平面模型，然后在沙盤通過(guò)投影儀投影標(biāo)準(zhǔn)棋盤格圖案，并通過(guò)采集投影圖像進(jìn)行計(jì)算處理得到AR沙盤的投影映射模型，投影映射模型中的深度值采用基準(zhǔn)平面模型進(jìn)行修正，獲得校準(zhǔn)模型。

所述的基準(zhǔn)平面模型：將AR沙盤的沙子鋪平，在RGB-D傳感器采集得到的RGB圖像中標(biāo)記出沙盤區(qū)域的邊界，同時(shí)利用RGB-D傳感器對(duì)沙盤區(qū)域的深度數(shù)據(jù)進(jìn)行隨機(jī)采樣，擬合計(jì)算后得到基準(zhǔn)平面模型。

所述的基準(zhǔn)平面模型具體采用以下方式進(jìn)行處理獲得：

1)將AR沙盤的沙子鋪平，在RGB-D傳感器采集得到的RGB圖像中標(biāo)記出沙盤區(qū)域的邊界，記錄沙盤區(qū)域的左上角和右下角在RGB圖像中的像素坐標(biāo)值；

2)構(gòu)建以下公式表示在RGB-D傳感器的深度相機(jī)空間中的基準(zhǔn)平面模型：

ax+by+z+d＝0

其中，a、b和d是基準(zhǔn)平面模型的第一、第二、第三參數(shù)，(x,y,z)是沙盤區(qū)域中的點(diǎn)在深度相機(jī)空間中的三維坐標(biāo)，沙盤區(qū)域中的點(diǎn)是指沙子鋪平后所在的表面上的點(diǎn)，x、y為沙盤區(qū)域中的點(diǎn)在深度圖像上的平面坐標(biāo)值，z為沙盤區(qū)域中的點(diǎn)在深度圖像上的深度值，令其系數(shù)為1以簡(jiǎn)化計(jì)算過(guò)程；