[發(fā)明專利]一種基于AR成像在全虛擬環(huán)境中實(shí)時(shí)蒙版的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110447529.8
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113066192B
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 王娟;周來(lái)新;鄒麗琴;林海;尹昌林;石彥;宮亮;張倩;游建平;向強(qiáng);郭海濤
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍陸軍軍醫(yī)大學(xué)第一附屬醫(yī)院
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T17/00;G06T13/40;G06F3/01
• 代理公司: 深圳紫晴專利代理事務(wù)所(普通合伙) 44646
• 代理人: 陳映輝

本發(fā)明公開(kāi)了一種基于AR成像在全虛擬環(huán)境中實(shí)時(shí)蒙版的方法，涉及AR領(lǐng)域，為達(dá)到上述目的，發(fā)明的技術(shù)方案包括如下步驟：在完成三維數(shù)字模型美術(shù)加工的基礎(chǔ)上，再制作相應(yīng)模型的一個(gè)MASK蒙版模型，并編寫該蒙版模型的調(diào)用邏輯，使得該MASK蒙版模型可以在被調(diào)用時(shí)，將虛擬模型的影像摳除；在軟件中將動(dòng)作捕捉軟件中創(chuàng)建的相關(guān)的道具以及模擬人的剛體綁定匹配相對(duì)應(yīng)的模型和骨骼；軟件中接入動(dòng)作捕捉數(shù)據(jù)，實(shí)時(shí)無(wú)線傳輸?shù)紸R眼鏡中。給學(xué)員以實(shí)地救治傷員的感覺(jué)，解決了傳統(tǒng)急救訓(xùn)練不能體現(xiàn)災(zāi)害現(xiàn)場(chǎng)救治的實(shí)際環(huán)境與學(xué)員的臨場(chǎng)心理感受。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于AR成像在全虛擬環(huán)境中實(shí)時(shí)蒙版的方法，主要涉及AR領(lǐng)域。

背景技術(shù)

為提高災(zāi)害醫(yī)學(xué)救援人才的培養(yǎng)質(zhì)量，需要建設(shè)一個(gè)有“災(zāi)害環(huán)境、現(xiàn)代戰(zhàn)爭(zhēng)”的虛擬仿真實(shí)踐教學(xué)平臺(tái)。虛擬現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)圖形學(xué)、醫(yī)學(xué)圖像處理、可視化技術(shù)、軟件工程、人機(jī)接口技術(shù)、傳感與測(cè)量技術(shù)、仿真技術(shù)、模式識(shí)別、人工智能、分布實(shí)時(shí)處理技術(shù)、網(wǎng)絡(luò)技術(shù)等多學(xué)科交叉融合的結(jié)晶。目前國(guó)內(nèi)尚未建立虛擬仿真災(zāi)害環(huán)境模擬平臺(tái)。

發(fā)明內(nèi)容

針對(duì)以上現(xiàn)有技術(shù)的不足，發(fā)明提出一種基于AR成像在全虛擬環(huán)境中實(shí)時(shí)蒙版的方法，應(yīng)用分布式交互模擬技術(shù)，配合各類場(chǎng)景布置以及模擬人的災(zāi)害、戰(zhàn)爭(zhēng)傷情設(shè)置，將理論的災(zāi)害救援轉(zhuǎn)變成直觀的現(xiàn)場(chǎng)救治畫(huà)面，給學(xué)員以實(shí)地救治傷員的感覺(jué)，解決了傳統(tǒng)急救訓(xùn)練不能體現(xiàn)災(zāi)害現(xiàn)場(chǎng)救治的實(shí)際環(huán)境與學(xué)員的臨場(chǎng)心理感受。

為達(dá)到上述目的，發(fā)明的技術(shù)方案是：包括如下步驟：

S1，三維構(gòu)建與真實(shí)世界1:1大小的虛擬場(chǎng)景模型；

S2，三維1:1構(gòu)建真實(shí)器械的虛擬形象；

S3，三維構(gòu)建與對(duì)需要急救操作的模擬人1:1的虛擬模擬人；

S4，在完成三維數(shù)字模型美術(shù)加工的基礎(chǔ)上，再制作相應(yīng)模型的一個(gè)MASK蒙版模型，并編寫該蒙版模型的調(diào)用邏輯，使得該MASK蒙版模型可以在被調(diào)用時(shí)，將虛擬模型的影像摳除；

S5，使用定位設(shè)備在實(shí)際操作場(chǎng)地創(chuàng)建定位空間區(qū)域，創(chuàng)建的定位空間區(qū)域與虛擬場(chǎng)景中的操作區(qū)域的位置、方向進(jìn)行匹配。在軟件中將動(dòng)作捕捉軟件中創(chuàng)建的相關(guān)的道具以及模擬人的剛體綁定匹配相對(duì)應(yīng)的模型和骨骼；

S6，軟件中接入動(dòng)作捕捉數(shù)據(jù)，并將動(dòng)作捕捉數(shù)據(jù)賦予虛擬的3D數(shù)字模型，由動(dòng)作捕捉數(shù)據(jù)驅(qū)動(dòng)的數(shù)字模型通過(guò)3D引擎渲染，并通過(guò)圖形工作站實(shí)時(shí)渲染，實(shí)時(shí)無(wú)線傳輸?shù)紸R眼鏡中；

S7，當(dāng)操作者需要看到現(xiàn)場(chǎng)的模型人進(jìn)行實(shí)際操作時(shí)，將相對(duì)應(yīng)的MASK蒙版填充為黑色，由于AR眼鏡的成像原理是將光學(xué)成像畫(huà)面映射在一塊透光的鏡片上，鏡片上的影像疊加在現(xiàn)實(shí)場(chǎng)景前，當(dāng)成像顏色或區(qū)域?yàn)楹谏珪r(shí)，實(shí)際就是沒(méi)有虛擬成像的畫(huà)面被映射在透光鏡片上，而是完全看到的現(xiàn)實(shí)場(chǎng)景。

優(yōu)選地，步驟S1，通過(guò)多個(gè)動(dòng)作捕捉攝像機(jī)組成的攝像機(jī)矩陣來(lái)定位現(xiàn)實(shí)場(chǎng)地空間，通過(guò)3D引擎，將虛擬場(chǎng)景同真實(shí)的動(dòng)捕場(chǎng)景空間匹配。

優(yōu)選地，步驟S2，對(duì)現(xiàn)實(shí)場(chǎng)地空間內(nèi)使用到的真實(shí)器械安裝定位標(biāo)識(shí)點(diǎn)，通過(guò)動(dòng)捕相機(jī)獲取道具在動(dòng)捕空間中的實(shí)時(shí)位置，使該器械在實(shí)際場(chǎng)地使用過(guò)程中，可以實(shí)時(shí)匹配其虛擬形象。

優(yōu)選地，步驟S3，對(duì)需要急救操作的模擬人進(jìn)行三維數(shù)字掃描，得到與模擬人1:1大小的數(shù)字三維模型，并對(duì)模擬人的主要肢體、關(guān)節(jié)的剛體定位，通過(guò)動(dòng)捕相機(jī)獲取模擬人在動(dòng)捕空間中的實(shí)時(shí)位置，并實(shí)時(shí)匹配其三維模型。

發(fā)明的技術(shù)原理及有益效果如下：