[發明專利]一種實時構建實訓數字孿生模型的方法

在審

• 申請號: 202010174216.5
• 申請日: 2020-03-13
• 公開（公告）號: CN111369670A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 羅軍;張筱澍;楊卓
• 申請（專利權）人: 江西科駿實業有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T15/04;G06T7/55;G06T7/162
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種實時構建實訓數字孿生模型的方法，其特征在于，包括：

步驟1、通過通用型移動設備內置的慣性測量單元采集拍攝目標物體時的姿態信息，從而估算目標物體的三維特征，并利用Visual Inertial Odometry技術實時恢復目標物體的三維特征，得到目標物體的實際三維大小，進而建立相應的三維網格模型；

步驟2、通過可微渲染器對三維網格模型進行紋理貼圖渲染，得到帶有紋理信息的三維網格模型；

步驟3、利用三維網格模型幾何與紋理信息以及用戶交互提供的感興趣區域信息，構建圖割算法中的代價函數，對三維網格模型中的所有面片進行判別，以判別含有雜質的片面，并從三維網格模型中去除，獲得優化后的三維網格模型；

步驟4、在實訓工作中，通過通用型移動設備實時拍攝采集目標物體，并通過一致性驗證來判斷是否檢測到目標物體的缺失部分，若是，則對缺失部分采用步驟1～步驟3的方式建模，并映射到之前獲得的優化后的三維網格模型中。

2.根據權利要求1所述的一種實時構建實訓數字孿生模型的方法，其特征在于，所述通用型移動設備為智能手機或者平板電腦。

3.根據權利要求1所述的一種實時構建實訓數字孿生模型的方法，其特征在于，所述慣性測量單元包括加速度計與陀螺儀。

4.根據權利要求1所述的一種實時構建實訓數字孿生模型的方法，其特征在于，所述估算目標物體的三維特征的步驟包括：

步驟11、通過通用型移動設備；根據姿態信息計算每一個連續影像幀拍攝時的位置與旋轉角度，同時抽取連續影像幀的特征點，并計算出目標物體相應特征點的三維坐標，異步構建連續影像幀的特征點數據庫；

步驟12、判斷從目標物體中提取的特征點總數目是否達到要求，若是，則轉入步驟15；若否，則轉入步驟13；

步驟13、通過后處理計算程序根據姿態信息計算離散影像幀的拍攝時的位置與旋轉角度，同時抽取離散影像幀的高維特征點，并計算出目標物體相應特征點的三維坐標，構建離散影像幀的特征點數據庫；

步驟14、將離散影像幀的特征點數據庫與連續影像幀的特征點數據庫匹配并合并，獲得合并后的特征點數據庫；

步驟15、通過Visual Inertial Odometry技術，結合獲得的特征點數據庫，恢復目標物體的三維特征，得到目標物體的實際三維大小，進而建立相應的三維網格模型。

5.根據權利要求4所述的一種實時構建實訓數字孿生模型的方法，其特征在于，在步驟4中，通用型移動設備利用已經獲得的特征點數據庫實時識別拍攝的其他連續影像幀是否包含目標物體，若是，則估計目標物體在影像幀中的位置，并抽取相應特征點以檢測目標物體是否與優化后的三維網格模型發生變化；當拍攝到包含目標物體在優化后的三維網格模型缺失部分的連續影像幀時，根據估計得到的目標物體在影像幀中的位置，自動通過照片拍攝方式拍攝離散影像幀，并利用離散影像幀構建目標物體缺失部分的三維網格模型；即，從離散影像幀抽取缺失部分的特征點，并計算相應特征點的三維坐標，構建離散影像幀的特征點數據庫，通過Visual Inertial Odometry技術構建缺失部分的三維網格模型。