[發(fā)明專利]作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)、方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110166726.2
• 申請日: 2021-02-04
• 公開（公告）號: CN112908084A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 周文君;熊建華;羅成發(fā)
• 申請（專利權(quán)）人: 三一汽車起重機(jī)械有限公司
• 主分類號: G09B9/00
• 分類號: G09B9/00
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 陳新生

本發(fā)明提供一種作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)、方法、裝置和電子設(shè)備，其中模擬訓(xùn)練系統(tǒng)包括：模擬駕駛艙，模擬駕駛艙為基于作業(yè)機(jī)械的駕駛艙確定；體感控制器，體感控制器用于采集用戶的肢體動作信息，并輸出與肢體動作信息對應(yīng)的姿態(tài)圖像信息；VR設(shè)備，VR設(shè)備用于基于模擬駕駛艙生成VR場景，VR設(shè)備與體感控制器通信連接，用于將姿態(tài)圖像信息融合入VR場景，并顯示更新后的VR場景。本發(fā)明的模擬訓(xùn)練系統(tǒng)，通過融合VR場景和用戶姿態(tài)圖像信息，得到更新后的VR場景，可同時顯示虛擬的駕駛艙場景和虛擬的用戶肢體動作，實現(xiàn)虛擬和現(xiàn)實的完全同步，實現(xiàn)模擬訓(xùn)練過程中，用戶操作動作與視覺的統(tǒng)一，顯著增強(qiáng)用戶的沉浸感和體驗感。

技術(shù)領(lǐng)域

本發(fā)明涉及作業(yè)機(jī)械技術(shù)領(lǐng)域，尤其涉及一種作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)、方法、裝置和電子設(shè)備。

背景技術(shù)

作業(yè)機(jī)械的作業(yè)環(huán)境復(fù)雜、操作復(fù)雜、設(shè)備價值高，因此對操作人員的要求也較高，在上機(jī)前，需要對操作人員進(jìn)行操作培訓(xùn)。在現(xiàn)有技術(shù)中，由于作業(yè)機(jī)械價值較高，操作失誤極易導(dǎo)致作業(yè)事故的發(fā)生，進(jìn)行基于實際設(shè)備之上的操作培訓(xùn)成本高、風(fēng)險大，所以一般不會進(jìn)行實操訓(xùn)練，而是采用純理論培訓(xùn)或通過虛擬場景進(jìn)行模擬訓(xùn)練，導(dǎo)致理論與實際脫節(jié)，且模擬體驗感不佳，培訓(xùn)效果不好。

發(fā)明內(nèi)容

本發(fā)明提供一種作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)、方法、裝置和電子設(shè)備，用以解決現(xiàn)有技術(shù)中在進(jìn)行作業(yè)機(jī)械的模擬訓(xùn)練時，沉浸感不佳的缺陷，實現(xiàn)高沉浸感的模擬訓(xùn)練。

本發(fā)明提供一種作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)，包括：

模擬駕駛艙，所述模擬駕駛艙為基于所述作業(yè)機(jī)械的駕駛艙確定；

體感控制器，所述體感控制器用于采集用戶的肢體動作信息，并輸出與所述肢體動作信息對應(yīng)的姿態(tài)圖像信息；

VR設(shè)備，所述VR設(shè)備用于基于所述模擬駕駛艙生成VR場景，所述VR設(shè)備與所述體感控制器通信連接，用于將所述姿態(tài)圖像信息融合入所述VR場景，并顯示更新后的VR場景。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)，所述VR設(shè)備用于基于所述模擬駕駛艙的至少部分操作部件的定位信息生成VR場景。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的模擬訓(xùn)練系統(tǒng)，所述體感控制器為非穿戴式設(shè)備，且包括紅外補(bǔ)光燈和至少兩個灰階攝像頭。

本發(fā)明還提供一種作業(yè)機(jī)械的模擬訓(xùn)練方法，包括：

顯示與作業(yè)機(jī)械的操控對應(yīng)的VR場景；

接收用戶的肢體動作信息；

響應(yīng)于所述肢體動作信息，輸出與所述肢體動作信息對應(yīng)的姿態(tài)圖像信息；

將所述姿態(tài)圖像信息融合入所述VR場景，并顯示更新后的VR場景。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的模擬訓(xùn)練方法，所述VR場景基于與作業(yè)機(jī)械的駕駛艙對應(yīng)的模擬駕駛艙的至少部分操作部件的定位信息生成。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的模擬訓(xùn)練方法，所述肢體動作信息通過至少兩個灰階攝像頭采集。

本發(fā)明還提供一種作業(yè)機(jī)械的模擬訓(xùn)練裝置，包括：

顯示模塊，用于顯示與作業(yè)機(jī)械的操控對應(yīng)的VR場景；

接收模塊，用于接收用戶的肢體動作信息；

生成模塊，用于響應(yīng)于所述肢體動作信息，輸出與所述肢體動作信息對應(yīng)的姿態(tài)圖像信息；

融合模塊，用于將所述姿態(tài)圖像信息融合入所述VR場景，并顯示更新后的VR場景。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的模擬訓(xùn)練裝置，所述VR場景基于與作業(yè)機(jī)械的駕駛艙對應(yīng)的模擬駕駛艙的至少部分操作部件的定位信息生成。