[發(fā)明專利]基于虛擬現(xiàn)實(shí)的通用操作模擬訓(xùn)練系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110479045.1
• 申請日: 2021-04-30
• 公開（公告）號(hào): CN113129678A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 呂凱;劉潔;李立華;汪志遠(yuǎn);李改靈;李立順;李紅勛;朱先民;賈楠;薛文斌;王曦;趙重年;汪子盛;李夢晗
• 申請（專利權(quán)）人: 中國人民解放軍陸軍軍事交通學(xué)院軍事交通運(yùn)輸研究所
• 主分類號(hào): G09B9/00
• 分類號(hào): G09B9/00
• 代理公司: 天津市三利專利商標(biāo)代理有限公司 12107
• 代理人: 李文洋

本發(fā)明涉及模擬操作設(shè)備技術(shù)領(lǐng)域，尤其涉及一種基于虛擬現(xiàn)實(shí)的通用操作模擬訓(xùn)練系統(tǒng)，包括力反饋系統(tǒng)、視覺反饋系統(tǒng)、聽覺反饋系統(tǒng)、運(yùn)動(dòng)感覺反饋系統(tǒng)和操作者支撐組件。通過改變虛擬場地和構(gòu)建不同虛擬操作對象，可實(shí)現(xiàn)對不同操作對象的模擬訓(xùn)練。可針對不同行業(yè)、不同領(lǐng)域各種機(jī)械設(shè)備進(jìn)行操作訓(xùn)練模擬，這些操作對象包括不同類型的車輛、輪船、飛機(jī)、大型工程機(jī)械設(shè)備等。

技術(shù)領(lǐng)域

本發(fā)明涉及模擬操作設(shè)備技術(shù)領(lǐng)域，尤其涉及一種基于虛擬現(xiàn)實(shí)的通用操作模擬訓(xùn)練系統(tǒng)。

背景技術(shù)

現(xiàn)有的基于虛擬現(xiàn)實(shí)的操作模擬訓(xùn)練系統(tǒng)，大多采用半實(shí)物仿真的結(jié)構(gòu)形式。半實(shí)物仿真結(jié)構(gòu)形式是系統(tǒng)具有實(shí)物性的駕駛座艙或操作臺(tái)，以提供人機(jī)交互設(shè)備，如操縱機(jī)構(gòu)、按鈕開關(guān)等，作為聽覺、操作感覺的模擬；為了得到訓(xùn)練過程中的視景圖像，通常還具有顯示設(shè)備，如顯示屏或投影幕，作為視覺顯示的模擬；為了獲取訓(xùn)練過程中的運(yùn)動(dòng)和位姿，駕駛座艙或操作臺(tái)一般與多自由度動(dòng)感平臺(tái)配合使用，根據(jù)系統(tǒng)運(yùn)算運(yùn)算結(jié)果實(shí)現(xiàn)操作人員體感運(yùn)動(dòng)姿態(tài)等，作為運(yùn)動(dòng)感覺的模擬。

半實(shí)物化的模擬訓(xùn)練系統(tǒng)設(shè)備只能根據(jù)特定的訓(xùn)練對象制造，制造完成后，其所具有的操縱機(jī)構(gòu)和按鈕開關(guān)等無法改變，嚴(yán)重限制了模擬訓(xùn)練的通用性。如針對某型大型運(yùn)輸車輛制造的駕駛操作模擬訓(xùn)練系統(tǒng)，只能進(jìn)行操作相似的同類車輛的模擬訓(xùn)練，既不能進(jìn)行其它類型運(yùn)輸車輛的模擬訓(xùn)練，又不能適用于裝卸搬運(yùn)、農(nóng)業(yè)、商用、工程等車輛的模擬訓(xùn)練，更不可能應(yīng)用于飛機(jī)、輪船等跨行業(yè)設(shè)備的模擬訓(xùn)練。

目前，多種類型車輛或者機(jī)械協(xié)同作業(yè)已在農(nóng)場、港口、軍事訓(xùn)練等領(lǐng)域成為常態(tài)，車輛或者機(jī)械的更新?lián)Q代也時(shí)有發(fā)生，因此，依賴半實(shí)物仿真結(jié)構(gòu)形式的操作模擬訓(xùn)練系統(tǒng)功能單一，如果大量配備，不僅初始硬件成本高，維護(hù)更新也不經(jīng)濟(jì)。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述技術(shù)的不足，而提供一種基于虛擬現(xiàn)實(shí)的通用操作模擬訓(xùn)練系統(tǒng)。

本發(fā)明為實(shí)現(xiàn)上述目的，采用以下技術(shù)方案：一種基于虛擬現(xiàn)實(shí)的通用操作模擬訓(xùn)練系統(tǒng)，其特征在于：包括力反饋系統(tǒng)、視覺反饋系統(tǒng)、聽覺反饋系統(tǒng)、運(yùn)動(dòng)感覺反饋系統(tǒng)和操作者支撐組件；

其中，所述力反饋系統(tǒng)包括運(yùn)動(dòng)解析系統(tǒng)、力反饋分析系統(tǒng)和力反饋執(zhí)行系統(tǒng)；所述運(yùn)動(dòng)解析系統(tǒng)用于追蹤和識(shí)別操作者的身體位姿和特定部位的動(dòng)作，為力反饋分析系統(tǒng)提供相關(guān)信息的輸入；所述力反饋分析系統(tǒng)根據(jù)運(yùn)動(dòng)解析系統(tǒng)提供的相關(guān)信息，使用操作者身體位姿和特定部位的動(dòng)作等信息控制虛擬操作對象，結(jié)合虛擬場景得出操作者的操作意圖，并根據(jù)觸碰物體的物理屬性和操作者動(dòng)作的路徑和速度，運(yùn)算出接觸力度；所述力反饋執(zhí)行系統(tǒng)和操作者身體特定部位相接觸，并能夠根據(jù)力反饋分析系統(tǒng)的接觸力度輸出相應(yīng)的結(jié)果，將力反饋至現(xiàn)實(shí)操作者身體某部位，使操作者相應(yīng)部位產(chǎn)生接觸感覺、或者感受到助力或者阻力；

所述視覺反饋系統(tǒng)包括視覺追蹤分析系統(tǒng)、場景反饋分析系統(tǒng)和虛擬場景顯示系統(tǒng)；所述視覺追蹤分析系統(tǒng)用于追蹤、識(shí)別操作者頭部位姿或眼部位置和動(dòng)作，為場景反饋分析系統(tǒng)提供操作者頭部位姿、眼部位置和動(dòng)作相關(guān)信息的輸入；場景反饋分析系統(tǒng)能夠根據(jù)視覺追蹤分析系統(tǒng)的輸入，使用操作者頭部位姿和眼部動(dòng)作等信息控制虛擬操作對象，結(jié)合虛擬場景構(gòu)建和生成用于反饋的場景圖像；所述虛擬場景顯示系統(tǒng)接收場景反饋分析系統(tǒng)的反饋場景圖像輸出結(jié)果；

所述聽覺反饋系統(tǒng)包括聽覺追蹤系統(tǒng)、聲音反饋分析系統(tǒng)和聲音輸出設(shè)備；所述聽覺追蹤系統(tǒng)追蹤操作者雙耳位置和聲音輸出設(shè)備位置，為聲音反饋分析系統(tǒng)提供操作者的雙耳位置和聲音輸出設(shè)備位置等相關(guān)信息的輸入；所述聲音反饋分析系統(tǒng)結(jié)合力反饋分析系統(tǒng)的碰撞檢測運(yùn)算，分析出產(chǎn)生聲音的運(yùn)動(dòng)，再結(jié)合虛擬場景中物體、虛擬操作對象等的運(yùn)行動(dòng)作，運(yùn)算或者調(diào)出相關(guān)聲音信息，并根據(jù)聽覺追蹤系統(tǒng)提供的操作者雙耳位置和聲音輸出設(shè)備位置，對聲音信息進(jìn)行合成處理；聲音輸出設(shè)備接受聲音反饋系統(tǒng)生成的聲音信息，進(jìn)一步對聲音信息進(jìn)行相關(guān)處理，并輸出為操作者提供可聽到的聲效；