[發(fā)明專利]一種基于混合現(xiàn)實(shí)的復(fù)雜設(shè)備高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911174115.1
• 申請(qǐng)日: 2019-11-26
• 公開（公告）號(hào): CN111047708B
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 王崴;羅又文;邱盎;瞿玨;程月盟;楊潔;雷松貴;李淘金
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍空軍工程大學(xué)
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T17/00;G06Q50/20
• 代理公司: 西安睿通知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 61218
• 代理人: 惠文軒

本發(fā)明公開了一種基于混合現(xiàn)實(shí)的復(fù)雜設(shè)備高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練系統(tǒng)，包括復(fù)雜設(shè)備、服務(wù)器、混合現(xiàn)實(shí)設(shè)備、控制器和無(wú)線路由器；服務(wù)器與混合現(xiàn)實(shí)設(shè)備通過(guò)無(wú)線路由器進(jìn)行網(wǎng)絡(luò)連接；復(fù)雜設(shè)備由實(shí)裝訓(xùn)練部分和控制臺(tái)組成；服務(wù)器采用三維建模工具構(gòu)建與實(shí)裝訓(xùn)練部分相同的虛擬三維模型，解算虛擬三維模型的空間定位和運(yùn)動(dòng)信息，并通過(guò)無(wú)線網(wǎng)絡(luò)與混合現(xiàn)實(shí)設(shè)備進(jìn)行通訊。本發(fā)明將傳統(tǒng)實(shí)裝訓(xùn)練成本較高的部分全息虛擬化，成本較低的部分實(shí)物化，具有良好的操作性且沉浸感高，設(shè)備簡(jiǎn)單便攜不易受外界環(huán)境干擾，能夠在室內(nèi)空間進(jìn)行大型設(shè)備的高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練，降低了訓(xùn)練成本，提升了體驗(yàn)感和訓(xùn)練效果。

技術(shù)領(lǐng)域

本發(fā)明屬于人機(jī)交互領(lǐng)域技術(shù)領(lǐng)域，具體涉及一種基于混合現(xiàn)實(shí)的復(fù)雜設(shè)備高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練系統(tǒng)。

背景技術(shù)

混合現(xiàn)實(shí)技術(shù)(MR)提供了一種全新的沉浸式虛擬信息顯示與交互的支撐手段，是在增強(qiáng)現(xiàn)實(shí)技術(shù)(AR)上的進(jìn)一步發(fā)展，更加強(qiáng)調(diào)用戶可視化環(huán)境中真實(shí)世界和虛擬世界、物理實(shí)體和虛擬信息融合的真實(shí)性和實(shí)時(shí)性。該技術(shù)通過(guò)在現(xiàn)實(shí)場(chǎng)景呈現(xiàn)虛擬場(chǎng)景信息，在現(xiàn)實(shí)世界、虛擬世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。

一般來(lái)說(shuō)，對(duì)于大型設(shè)備諸如吊車、裝填車等的操作訓(xùn)練，直接在實(shí)裝上訓(xùn)練存在一定的風(fēng)險(xiǎn)，在訓(xùn)練過(guò)程中有可能發(fā)生不可預(yù)測(cè)的意外事故，這樣會(huì)對(duì)設(shè)備造成損壞，重則導(dǎo)致操作員受傷，且因?yàn)檎加幂^大的物理空間須在室外進(jìn)行，極易受到外界環(huán)境因素的干擾，因此在這些領(lǐng)域往往運(yùn)用虛擬仿真訓(xùn)練。傳統(tǒng)的純虛擬仿真或半實(shí)物仿真都具有局限性，虛擬仿真(如VR)虛擬環(huán)境雖然較為真實(shí)，但與現(xiàn)實(shí)的割裂感強(qiáng)，操作體驗(yàn)較差，難以達(dá)到預(yù)期的訓(xùn)練效果；半實(shí)物仿真用戶在觀察視角上具有很大的局限性，只能看到部分固定角度的視角；在交互方面，VR虛擬仿真多采用與顯示設(shè)備相配套的控制手柄來(lái)映射交互功能，與真正的實(shí)裝操作有存在一定的差距，影響了訓(xùn)練效果；而半實(shí)物仿真訓(xùn)練雖然操作更為真實(shí)，但是交互方式單一，訓(xùn)練較為枯燥，且無(wú)法在訓(xùn)練的過(guò)程中進(jìn)行智能化的提示和引導(dǎo)。因此，有必要發(fā)明一種簡(jiǎn)單易操作、交互方式多元化、高沉浸感訓(xùn)練體驗(yàn)的訓(xùn)練系統(tǒng)，以提高大型復(fù)雜設(shè)備高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練的效率和效果。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明的目的是提出一種基于混合現(xiàn)實(shí)的復(fù)雜設(shè)備高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練系統(tǒng)，本發(fā)明建立復(fù)雜設(shè)備的虛擬三維仿真模型并投影在混合現(xiàn)實(shí)眼鏡中，控制臺(tái)采用實(shí)物，通過(guò)識(shí)別控制臺(tái)的機(jī)械支撐平臺(tái)、控制臺(tái)上的標(biāo)志使虛擬模型與真實(shí)物體精密配合達(dá)到虛實(shí)融合的效果，且等比大小的虛擬模型可以從不同的角度、方位觀看，提高了訓(xùn)練人員的操作感和沉浸感；且交互方式多元化，操作更加簡(jiǎn)單，提升了操作效率和訓(xùn)練效果。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以解決。

一種基于混合現(xiàn)實(shí)的復(fù)雜設(shè)備高風(fēng)險(xiǎn)項(xiàng)目訓(xùn)練系統(tǒng)，包括復(fù)雜設(shè)備、服務(wù)器、混合現(xiàn)實(shí)設(shè)備、控制器和無(wú)線路由器；所述服務(wù)器與混合現(xiàn)實(shí)設(shè)備通過(guò)無(wú)線路由器進(jìn)行網(wǎng)絡(luò)連接；所述復(fù)雜設(shè)備由實(shí)裝訓(xùn)練部分和控制臺(tái)組成；

所述服務(wù)器采用三維建模工具構(gòu)建與實(shí)裝訓(xùn)練部分相同的虛擬三維模型，解算虛擬三維模型的空間定位和運(yùn)動(dòng)信息，并通過(guò)無(wú)線網(wǎng)絡(luò)與混合現(xiàn)實(shí)設(shè)備進(jìn)行通訊；

所述混合現(xiàn)實(shí)設(shè)備接收虛擬三維模型及其空間定位和運(yùn)動(dòng)信息，并對(duì)其進(jìn)行投影顯示，以與佩戴用戶進(jìn)行交互；

佩戴用戶通過(guò)控制操作臺(tái)、手勢(shì)或語(yǔ)音的方式與虛擬三維模型進(jìn)行交互；

所述控制臺(tái)固定于訓(xùn)練場(chǎng)地上，且其上貼有標(biāo)志圖片；通過(guò)在服務(wù)器中設(shè)置虛擬三維模型與標(biāo)志圖片的位置關(guān)系，使得當(dāng)混合現(xiàn)實(shí)設(shè)備讀取到控制臺(tái)上的標(biāo)志圖片，即可實(shí)現(xiàn)虛擬三維模型顯示位置與控制臺(tái)實(shí)際位置的配合，進(jìn)而實(shí)現(xiàn)虛實(shí)融合；

所述控制臺(tái)通過(guò)驅(qū)動(dòng)將佩戴用戶的操作信號(hào)傳輸至服務(wù)器，服務(wù)器對(duì)該操作進(jìn)行解算后，生成新的空間定位和運(yùn)動(dòng)信息，反饋至混合現(xiàn)實(shí)設(shè)備進(jìn)行投影顯示。

進(jìn)一步地，所述混合現(xiàn)實(shí)設(shè)備包含存儲(chǔ)器、處理器、圖像采集器和聲音采集器；