[發明專利]多臺深度相機共同構建3D空間及3D物體的方法

在審

• 申請號: 202010714635.3
• 申請日: 2020-07-23
• 公開（公告）號: CN111739080A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 劉文濤;彭含燁
• 申請（專利權）人: 成都艾爾帕思科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/70;G06T7/90;G06T17/00
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 李林

1.一種多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，包括以下具體步驟：

獲取多個深度相機采集到的RGB彩色數據和原始深度數據，并對每個深度相機采集到的RGB彩色數據進行預處理，建立每個深度相機的局部坐標系；

將所有深度相機的局部坐標系合成一個全局坐標系，對局部坐標系下所有深度相機的RGB彩色數據進行合并處理，得到全局坐標系下的RGB彩色數據，然后對原始深度數據進行預處理，優化得到位于局部坐標系下的深度數據；

將各個局部坐標系下可以采集到的區域中的深度數據進行變換處理，轉換為全局坐標系下的深度數據，然后將所有深度相機位于全局坐標系下的深度數據合并為一個初始的深度數據；

根據全局坐標系下合并后的深度數據轉換得到深度數據，然后將位于同一立方體中的相鄰兩幀的深度數據和相融合，根據融合后的深度數據建立虛擬的3D空間和3D物體。

2.根據權利要求1所述的多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，在獲取多個深度相機采集到的RGB彩色數據和原始深度數據之前先配置三維重建計算機、多臺深度相機及與每個深度相機相對應的微型前期處理計算機，并利用所有深度相機搭建場景，根據深度相機的實際相對位置及所需構建的三維空間的坐標系原點進行標定。

3.根據權利要求2所述的多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，獲取多個深度相機采集到的RGB彩色數據和原始深度數據，并通過深度相機的內部參數對RGB彩色數據和原始深度數據進行對齊處理，接著進行坐標轉換的過程，將位于像素坐標系下的RGB彩色數據轉換為位于局部坐標系下的RGB彩色數據。

4.根據權利要求3所述的多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，每個深度相機根據各自對應的微型前期處理計算機、內部參數和相對位置，然后對于其位于局部坐標系下的RGB彩色數據進行合并處理，并通過特征匹配重新生成統一到全局坐標系下的RGB彩色數據；然后對原始深度數據進行雙邊濾波和降采樣的預處理，優化得到位于局部坐標系下的深度數據。

5.根據權利要求4所述的多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，對原始深度數據進行預處理時，從深度相機采集到的第k幀深度圖像為R_k，記u =［u v］^T為深度圖像某個像素的像素坐標，那么R_k（u）為第k幀的深度圖的第（u,v）像素的值，即深度值；對R_k進行雙邊濾波得到D_k，然后根據相機的內參，使用反投影法由D_k計算在局部空間坐標系下的點云集合V_k，其中每個點，R³表示笛卡爾三維坐標系，的齊次化向量；

然后點云集合V_k進行降采樣，行數和列數各減半，降采樣使用的方法是均值降采樣，即在點云集合V_k上四個相鄰像素的深度值被平均成一個值，降采樣之后的數據還是以V_k表示，此處的V_k即為優化得到位于局部坐標系下的深度數據。

6.根據權利要求4或5所述的多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，將各個局部坐標系下可以采集到的區域中的深度數據V_k進行變換處理，利用旋轉矩陣R和平移向量T轉換為全局坐標系下的深度數據，然后將三臺深度相機位于全局坐標系下的深度數據合并為一個初始的深度數據。

7.根據權利要求6所述的多臺深度相機共同構建3D空間及3D物體的方法，其特征在于，通過當前幀深度圖像轉換得到的深度數據，和根據上一幀相機位姿從模型投影獲取的深度數據轉換得到的點云進行配準，再使用投影算法計算匹配點，再通過匹配點極小化點到平面距離計算相機位姿，將位于同一立方體中的相鄰兩幀的深度數據和相融合，根據最后得到的深度數據建立虛擬的3D空間和3D物體。