[發(fā)明專利]一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911047433.1
• 申請(qǐng)日: 2019-10-30
• 公開(kāi)（公告）號(hào): CN110764620A
• 公開(kāi)（公告）日: 2020-02-07
• 發(fā)明（設(shè)計(jì)）人: 梁琳;沈鑫;武克廷;尤元輝;胡剛;楊可;葉亮;王林
• 申請(qǐng)（專利權(quán)）人: 中仿智能科技(上海)股份有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00;G06K9/34;G06K9/46;G06T7/277;G06T19/00;G09B9/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，包括：座艙和頭戴式顯示器；所述頭戴式顯示器前端設(shè)置有攝像機(jī)，內(nèi)部設(shè)置有跟蹤器和處理控制板，佩戴時(shí)靠近人眼的位置設(shè)置有顯示器；所述攝像機(jī)、所述跟蹤器和所述顯示器電連接所述處理控制板；所述座艙內(nèi)設(shè)置有實(shí)物操作設(shè)備，并設(shè)置有無(wú)線通訊模塊，通過(guò)無(wú)線通訊模塊與所述處理控制板連接通訊；所述顯示器顯示虛擬艙外環(huán)境和真實(shí)的艙內(nèi)環(huán)境，進(jìn)行半虛擬訓(xùn)練操作。

2.根據(jù)權(quán)利要求1所述的一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，所述攝像機(jī)采集訓(xùn)練人員手部動(dòng)作信息，進(jìn)行采用自適應(yīng)手勢(shì)分割算法，進(jìn)行精確輪廓提取，實(shí)現(xiàn)虛擬手可視化顯示。

3.根據(jù)權(quán)利要求2所述的一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，所述自適應(yīng)手勢(shì)分割的具體實(shí)現(xiàn)過(guò)程如下：

步驟11：對(duì)所述手部視頻圖像的顏色空間值進(jìn)行非線性轉(zhuǎn)換，實(shí)現(xiàn)光照補(bǔ)償和校正，并進(jìn)行樣本統(tǒng)計(jì)；

步驟12：根據(jù)所述樣本將所述視頻圖像中包含的手部圖像中的膚色特征作為初步檢測(cè)信息，在顏色空間建立膚色分布橢圓檢測(cè)模型；

步驟13：利用所述手部視頻圖像相鄰幀之間膚色連續(xù)變化特性對(duì)所述膚色分布橢圓檢測(cè)模型中的參數(shù)進(jìn)行自適應(yīng)更新，建立所述參數(shù)的近似時(shí)域狀態(tài)模型；

步驟14：根據(jù)所述膚色分布橢圓檢測(cè)模型和所述近似時(shí)域狀態(tài)模型對(duì)所述手部視頻圖像中的手部圖像進(jìn)行檢測(cè)，并采用數(shù)學(xué)形態(tài)學(xué)濾波算法進(jìn)行濾波，獲得濾波后的所述手部圖像；

步驟15：對(duì)所述手部圖像進(jìn)行輪廓搜尋；

步驟16：采用樣條線擬合方法對(duì)所述輪廓進(jìn)行平滑處理，得到平滑輪廓，所述手部視頻圖像是否遍歷完成，如果否，進(jìn)行統(tǒng)計(jì)計(jì)算，并進(jìn)入所述步驟13；

步驟17：采用雙邊濾波算法對(duì)所述平滑輪廓進(jìn)行濾波，得到虛擬手圖像。

4.根據(jù)權(quán)利要求1所述的一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，所述頭戴式顯示器設(shè)置有三個(gè)所述攝像機(jī)，按三個(gè)所述攝像機(jī)的光軸正交分布的方式安裝于所述頭戴式顯示器上，所述光軸相互垂直，指向統(tǒng)一原點(diǎn)。

5.根據(jù)權(quán)利要求4所述的一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，采用基于正交攝像機(jī)的頭部位置跟蹤方法、虛實(shí)注冊(cè)和融合，進(jìn)行頭部動(dòng)態(tài)跟蹤以及保持虛擬場(chǎng)景的一致性。

6.根據(jù)權(quán)利要求5所述的一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，所述基于正交攝像機(jī)的頭部位置跟蹤方法的具體實(shí)現(xiàn)過(guò)程如下：

步驟21：采用區(qū)域增長(zhǎng)算法檢測(cè)多個(gè)目標(biāo)圖像位置；

步驟22：所述攝像機(jī)的成像平面均以所述攝像機(jī)光心為所述原點(diǎn)，采用定位算法，依據(jù)小孔成像原理進(jìn)行迭代計(jì)算得到所述目標(biāo)圖像位置的三維位置計(jì)算值，對(duì)所述三維位置計(jì)算值進(jìn)行平均計(jì)算得到最終坐標(biāo)值；

步驟23：根據(jù)所述步驟22采用區(qū)域增長(zhǎng)算法同時(shí)檢測(cè)若干個(gè)目標(biāo)圖像位置；

步驟24：根據(jù)所述目標(biāo)圖像位置利用正交原理計(jì)算得到目標(biāo)空間位置，從而得到頭部姿態(tài)數(shù)據(jù)；

步驟25：采用卡爾曼濾波處理所述頭部姿態(tài)數(shù)據(jù)，得到去抖頭部姿態(tài)數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的一種增強(qiáng)半虛擬現(xiàn)實(shí)飛機(jī)座艙系統(tǒng)，其特征在于，所述虛實(shí)注冊(cè)和融合的具體實(shí)現(xiàn)過(guò)程為：

步驟31：對(duì)所述步驟24和所述步驟25中的所述目標(biāo)空間位置和所述去抖頭部姿態(tài)數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換，使得虛實(shí)攝像機(jī)與所述攝像機(jī)位置和參數(shù)一致；

步驟32：將所述虛實(shí)攝像機(jī)的真實(shí)場(chǎng)景與所述攝像機(jī)的真實(shí)場(chǎng)景進(jìn)行疊加作為背景，將所述虛實(shí)攝像機(jī)的虛擬場(chǎng)景進(jìn)行混色疊加，實(shí)現(xiàn)虛實(shí)場(chǎng)景融合。