[發明專利]一種基于棋盤格圖案的AR沙盤校準模型計算方法

有效

• 申請號: 201810055409.1
• 申請日: 2018-01-19
• 公開（公告）號: CN108460803B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 郭云東;王欣捷;吳震;羅浩;劉振宇;譚建榮
• 申請（專利權）人: 杭州映墨科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于棋盤格圖案的AR沙盤校準模型計算方法。首先處理獲得AR沙盤的基本信息，然后在沙盤通過投影儀投影標準棋盤格圖案，并通過采集投影圖像進行計算處理得到AR沙盤的校準模型。本發明方法操作簡便，能夠穩定地得到精確的校準模型。在AR沙盤虛擬場景的實時渲染過程中，得到的校準模型能夠實時地將RGB?D傳感器采集到的原始深度數據正確且實時地映射到投影儀的屏幕空間，從而保證AR沙盤互動體驗的沉浸感和極佳的用戶體驗。

技術領域

本發明涉及一種AR(Augment Reality，增強現實)沙盤投影映射方法，尤其涉及了一種基于棋盤格圖案的AR沙盤校準模型計算方法。

背景技術

隨著谷歌眼鏡在2013年4月份的發布，增強現實(Augmented Reality，簡稱AR)的概念和技術在最近幾年受到了越來越多的關注。簡單的說，增強現實技術是一種實時地計算攝影機的位置及角度，從而在真實影像上疊加合理的圖像、視頻或3D模型的技術。這種技術能夠通過為用戶提供基于真實場景的虛擬影像，增強用戶的現實世界體驗，提供沉浸式的全新交互方式。由于完全顛覆了現有的人機交互方式，增強現實技術被認為是一項具有革命性意義的技術。AR沙盤是增強現實技術的一項重要落地應用，主要應用場景是早教中心或幼兒園的寓教于樂式的互動課程教學。

AR沙盤通過懸掛在沙盤上方的RGB-D傳感器獲取沙盤中沙子高低不平的高度信息，在計算機中進行三維重建后，將合理的虛擬影像通過投影儀投射到沙子上，并且在沙子高度發生變化時能夠實時地改變投影內容，即具備實時交互的能力，能夠達到增強現實式的沉浸體驗。AR沙盤的核心技術難點在于正確且快速的投影映射，即根據沙子的高度變化合理且實時地投影出正確的圖像。現有的AR沙盤主要基于圓盤檢測來構建用于投影映射的校準模型，操作過程繁瑣且容易出錯，校準精度也不高，難以實現正確的投影映射，無法實現良好的寓教于樂的教學效果。

發明內容

針對現有AR沙盤校準模型計算方法中存在的問題，本發明的目的在于提供一種基于棋盤格圖案的AR沙盤校準模型計算方法。

本發明包括AR沙盤校準模型的計算以及在實時互動中的具體應用。提出的AR沙盤校準模型計算方法是在校準模型理論數學表達推導的基礎上，通過特定的交互操作進行采樣、最小二乘擬合后計算得到。在AR沙盤的實時互動中，校準模型用于將RGB-D傳感器采集到的原始深度數據進行正確且實時地映射，保證AR沙盤互動體驗的高沉浸感和極佳的用戶體驗。

本發明方法采用的技術方案是主要分為以下幾步，通過以下特定的交互操作和計算獲得：

首先處理獲得AR沙盤的基本信息，然后在沙盤通過投影儀投影標準棋盤格圖案，并通過采集投影圖像進行計算處理得到AR沙盤的校準模型。本發明實施獲得校準模型后，還通過特殊方式驗證校準模型的精度和實時性。

所述AR沙盤的基本信息的獲得具體為：在AR沙盤中用沙子堆一個最高點，并挖一個最低點，然后用RGB-D傳感器俯拍采集得到沙盤的RGB圖像中標記出沙盤邊界，同時提取并記錄沙盤中沙子的最高點和最低點深度信息。

RGB-D傳感器包括RGB相機和深度相機，RGB相機和深度相機俯拍分別采集到RGB圖像和深度圖像，本發明主要用到了深度相機及其深度圖像。

所述的AR沙盤的基本信息具體采用以下方式獲得：

1)在AR沙盤中用沙子堆一個高點，并挖一個低點，在RGB-D傳感器采集得到沙盤的RGB圖像中標記出沙盤區域的邊界，記錄沙盤區域的左上角和右下角在RGB圖像中的像素坐標值(x₁,y₁)和(x₂,y₂)；

2)根據RGB-D傳感器采集得到沙盤的深度圖像記錄沙盤區域中的最高點和最低點的深度值D_max、D_min。