[發(fā)明專利]一種同步實現三維重建和AR虛實注冊的方法、系統(tǒng)及裝置

在審

• 申請?zhí)枺?/td>: 202010890895.6
• 申請日: 2020-08-29
• 公開（公告）號: CN112070884A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設計）人: 陳雨
• 申請（專利權）人: 南京翱翔信息物理融合創(chuàng)新研究院有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T7/80
• 代理公司: 江蘇舜點律師事務所 32319
• 代理人: 韓賽

1.一種同步實現三維重建和AR虛實注冊的方法，其特征在于，包括如下過程：

對AR眼鏡相機和深度相機進行聯(lián)合標定，得到兩組相機坐標系之間的坐標轉換矩陣；

根據連續(xù)采集的場景RGB-D數據，對場景進行實時三維重建并輸出以點云數據形式存儲的物體虛擬模型；

根據所述坐標轉換矩陣在AR空間對所述物體虛擬模型進行可視化處理，完成物體靜止狀態(tài)下的虛實注冊；

根據所述點云數據，將屬于不同物體的點云劃分至獨立的類中，計算每個聚類的OBB包圍盒，對包圍盒范圍內的點云進行實時監(jiān)測和追蹤，更新虛實注冊結果，完成物體運動狀態(tài)的虛實注冊。

2.根據權利要求1所述的一種同步實現三維重建和AR虛實注冊的方法，其特征在于，所述對AR眼鏡相機和深度相機進行聯(lián)合標定，得到兩組相機坐標系之間的坐標轉換矩陣的具體過程為：

針對12組不同位姿擺放的黑白棋盤格，使用張正友標定法計算得到兩組相機的外參矩陣，AR相機的外參矩陣為：{M_A1,M_A2…M_A12}，深度相機的外參矩陣為：{M_D1,M_D2…M_D12}；

對于由黑白棋盤格確定的世界坐標系中的任意一點P_W(X_W,Y_W,Z_W)，轉換到兩組相機坐標系后的坐標如下：

其中，M_Ai是第i組標定計算中AR相機對應的外參矩陣，M_Di是第i組標定計算中深度相機對應的外參矩陣，(X_AC,Y_AC,Z_AC)是點P_W轉換到AR相機坐標系下的坐標，(X_DC,Y_DC,Z_DC)是點P_W轉換到深度相機坐標系下的坐標；

根據點P_W轉換到兩組相機坐標系后的坐標計算得到從深度相機坐標系轉換到AR相機坐標系的轉換矩陣M_i，其關系式如下：

對于12組標定計算所得的轉換矩陣{M₁,M₂…M₁₂}，剔除標定結果誤差大于0.05像素的組別，對剩下的矩陣計算平均值，得到最終的從深度相機坐標系轉換至AR相機坐標系的轉換矩陣M。

3.根據權利要求1所述的一種同步實現三維重建和AR虛實注冊的方法，其特征在于，所述根據連續(xù)采集的場景RGB-D數據，對場景進行實時三維重建并輸出以點云數據形式存儲的物體虛擬模型的具體過程為：

針對初始幾幀，通過ElasticFusion算法得到場景三維重建的點云，使用RANSAC隨機采樣一致性算法估計擬合工作臺平面的方程得到背景模板，方程表達式為：

ax+by+cz+d＝0；

針對后續(xù)幀新生成的點云，計算點到背景模板的距離，小于設定閾值ε的點歸為物體點保留，其余點作為背景點剔除，在每個關鍵幀對屬于物體部分的點云進行更新，輸出以點云數據形式存儲的物體虛擬模型。