[發明專利]一種增強半虛擬現實飛機座艙系統

在審

• 申請號: 201911047433.1
• 申請日: 2019-10-30
• 公開（公告）號: CN110764620A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 梁琳;沈鑫;武克廷;尤元輝;胡剛;楊可;葉亮;王林
• 申請（專利權）人: 中仿智能科技(上海)股份有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/34;G06K9/46;G06T7/277;G06T19/00;G09B9/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種增強半虛擬現實飛機座艙系統，包括座艙和頭戴式顯示器；頭戴式顯示器前端設置有攝像機，內部設置有跟蹤器和處理控制板，佩戴時靠近人眼的位置設置有顯示器；攝像機、跟蹤器和顯示器電連接處理控制板采集座艙內實物鏡像并進行圖像提取和處理，獲得虛實圖像；座艙內設置有實物操作設備，實現半實物座艙設置，并設置有無線通訊模塊，通過無線通訊模塊與處理控制板連接通訊，獲取操作結果，進行處理后改變顯示器上顯示的圖像；顯示器顯示虛擬艙外環境和真實艙內環境，實現半虛擬訓練操作。

技術領域

本發明涉及模擬飛行器技術領域，更具體的說是涉及一種增強半虛擬現實飛機座艙系統。

背景技術

目前，模擬飛行器廣泛用于飛行員訓練，相比于大型傳統飛行模擬器，采用虛擬現實技術構建的飛行模擬器具有體積小巧，成本低，通用性強等優點，近年來發展迅速，應用前景廣闊，但是由于技術和硬件設備現實，該類仿真設備也存在人機交互性能低，難以或者無法完成某些復雜座艙交互動作等缺點，同時存在虛擬現實與真實視覺、觸覺和力覺等存在偏差的情況，使得飛行模擬訓練效果差，影響飛行員學習提高駕駛技能。

因此，如何提供一種保證觸覺和力覺等反饋，實現精確交互的模擬飛行器是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種增強半虛擬現實飛機座艙系統，包括座艙和頭戴式顯示器；頭戴式顯示器前端設置有攝像機，內部設置有跟蹤器和處理控制板，佩戴時靠近人眼的位置設置有顯示器；攝像機、跟蹤器和顯示器電連接處理控制板采集座艙內實物鏡像并進行圖像提取和處理，獲得虛實圖像；座艙內設置有實物操作設備，實現半實物座艙設置，并設置有無線通訊模塊，通過無線通訊模塊與處理控制板連接通訊，獲取操作結果，進行處理后改變顯示器上顯示的圖像；顯示器顯示虛擬艙外環境和真實艙內環境，實現半虛擬訓練操作。

為了實現上述目的，本發明采用如下技術方案：

一種增強半虛擬現實飛機座艙系統，其特征在于，包括：座艙和頭戴式顯示器；所述頭戴式顯示器前端設置有攝像機，內部設置有跟蹤器和處理控制板，佩戴時靠近人眼的位置設置有顯示器；所述攝像機、所述跟蹤器和所述顯示器電連接所述處理控制板；所述座艙內設置有實物操作設備，并設置有無線通訊模塊，通過無線通訊模塊與所述處理控制板連接通訊；所述顯示器顯示虛擬艙外環境和真實的艙內環境，進行半虛擬訓練操作。

優選的，所述攝像機采集訓練人員手部動作信息，進行采用自適應手勢分割算法進行精確輪廓提取，實現虛擬手可視化顯示。

優選的，所述自適應手勢分割算法的具體實現過程如下：

步驟11：對所述手部視頻圖像的顏色空間值進行非線性轉換，實現光照補償和校正，并進行樣本統計；

步驟12：根據所述樣本將所述視頻圖像中包含的手部圖像中的膚色特征作為初步檢測信息，在顏色空間建立膚色分布橢圓檢測模型；

步驟13：利用所述手部視頻圖像相鄰幀之間膚色連續變化特性對所述膚色分布橢圓檢測模型中的參數進行自適應更新，建立所述參數的近似時域狀態模型；

步驟14：根據所述膚色分布橢圓檢測模型和所述近似時域狀態模型對所述手部視頻圖像中的手部圖像進行檢測，并采用數學形態學濾波算法進行濾波，獲得濾波后的所述手部圖像；

步驟15：對所述手部圖像進行輪廓提??；

步驟16：采用樣條線擬合方法對所述輪廓進行平滑處理，得到平滑輪廓，所述手部視頻圖像是否遍歷完成，如果否，進行統計計算，并進入所述步驟13；

步驟17：采用雙邊濾波算法對所述平滑輪廓進行濾波，得到虛擬手圖像。

優選的，所述頭戴式顯示器設置有三個所述攝像機，按三個所述攝像機的光軸正交分布的方式安裝于所述頭戴式顯示器上，所述光軸相互垂直，指向統一原點。