[發(fā)明專利]一種基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010334490.4
• 申請(qǐng)日: 2020-04-24
• 公開(kāi)（公告）號(hào): CN111508285A
• 公開(kāi)（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 魯媛媛;何昆侖;趙靜;張穎;肖若秀;李俊來(lái);肖偉厚;劉巖;吳世敬;張偉;郭華源
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍總醫(yī)院
• 主分類號(hào): G09B5/02
• 分類號(hào): G09B5/02;G09B23/28;G06T17/00;G06T19/20
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

1.一種基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法，其特征在于，包括：

采集處于物理環(huán)境中的醫(yī)學(xué)人體模型圖像數(shù)據(jù)，生成可處理的可視化影像；

基于所述可視化影像，對(duì)所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位進(jìn)行識(shí)別定位；

基于所述預(yù)設(shè)部位的識(shí)別定位結(jié)果，實(shí)時(shí)地將預(yù)設(shè)的虛擬急救指導(dǎo)模型疊加到所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位上，以實(shí)現(xiàn)預(yù)設(shè)類型的醫(yī)學(xué)急救培訓(xùn)。

2.如權(quán)利要求1所述的基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法，其特征在于，所述采集處于物理環(huán)境中的醫(yī)學(xué)人體模型圖像數(shù)據(jù)，包括：

利用可穿戴設(shè)備采集處于物理環(huán)境中的醫(yī)學(xué)人體模型圖像數(shù)據(jù)。

3.如權(quán)利要求1所述的基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法，其特征在于，所述基于所述可視化影像，對(duì)醫(yī)學(xué)人體模型的預(yù)設(shè)部位進(jìn)行識(shí)別定位，包括：

對(duì)所述可視化影像進(jìn)行實(shí)時(shí)識(shí)別，得到所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位的分類和定位預(yù)測(cè)結(jié)果，生成包括所述預(yù)設(shè)部分的分類和定位預(yù)測(cè)結(jié)果的識(shí)別圖像。

4.如權(quán)利要求3所述的基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法，其特征在于，所述基于所述預(yù)設(shè)部位的識(shí)別定位結(jié)果，實(shí)時(shí)地將預(yù)設(shè)的虛擬急救指導(dǎo)模型疊加到所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位上，以實(shí)現(xiàn)預(yù)設(shè)類型的醫(yī)學(xué)急救培訓(xùn)，包括：

計(jì)算出所述虛擬急救指導(dǎo)模型與醫(yī)學(xué)人體模型之間的相對(duì)位置，根據(jù)計(jì)算出的相對(duì)位置，將所述虛擬急救指導(dǎo)模型疊加到所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位；

通過(guò)實(shí)時(shí)的地圖重建，將預(yù)設(shè)的虛擬急救操作指導(dǎo)動(dòng)畫(huà)實(shí)時(shí)、穩(wěn)定的疊加融合在所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位，以實(shí)現(xiàn)預(yù)設(shè)類型的醫(yī)學(xué)急救培訓(xùn)。

5.如權(quán)利要求4所述的基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法，其特征在于，所述計(jì)算出所述虛擬急救指導(dǎo)模型與醫(yī)學(xué)人體模型之間的相對(duì)位置，包括：

根據(jù)所述識(shí)別圖像中的所述預(yù)設(shè)部分的分類和定位預(yù)測(cè)結(jié)果，通過(guò)預(yù)設(shè)圖像處理算法得到所述識(shí)別圖像中的圖像特征點(diǎn)的坐標(biāo)信息，然后與所述虛擬急救指導(dǎo)模型的坐標(biāo)系進(jìn)行配準(zhǔn)變換，以實(shí)現(xiàn)虛擬急救指導(dǎo)模型的疊加。

6.如權(quán)利要求5所述的基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)方法，其特征在于，所述通過(guò)實(shí)時(shí)的地圖重建，將預(yù)設(shè)的虛擬急救操作指導(dǎo)動(dòng)畫(huà)實(shí)時(shí)、穩(wěn)定的疊加融合在所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位，包括：

根據(jù)虛擬場(chǎng)景中攝像頭與物理場(chǎng)景的相對(duì)位置和方向，確定虛擬急救指導(dǎo)模型在物理場(chǎng)景中的空間位置，實(shí)現(xiàn)虛擬急救指導(dǎo)模型在物理場(chǎng)景中的平移、旋轉(zhuǎn)和縮放效果，以實(shí)現(xiàn)所述虛擬急救指導(dǎo)模型和醫(yī)學(xué)人體模型的實(shí)時(shí)融合；

通過(guò)實(shí)時(shí)的地圖重建，結(jié)合對(duì)醫(yī)學(xué)人體模型的預(yù)設(shè)部位的位姿的實(shí)時(shí)估計(jì)，對(duì)虛擬急救操作指導(dǎo)動(dòng)畫(huà)和醫(yī)學(xué)人體模型進(jìn)行注冊(cè)變換，實(shí)現(xiàn)將虛擬急救操作指導(dǎo)動(dòng)畫(huà)穩(wěn)定、實(shí)時(shí)地疊加融合在醫(yī)學(xué)人體模型的預(yù)設(shè)部位上。

7.一種基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)系統(tǒng)，其特征在于，包括：

物理環(huán)境采集模塊，用于采集處于物理環(huán)境中的醫(yī)學(xué)人體模型圖像數(shù)據(jù)，生成可處理的可視化影像；

醫(yī)學(xué)人體模型在線識(shí)別模塊，用于基于所述物理環(huán)境采集模塊輸出的可視化影像，對(duì)所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位進(jìn)行識(shí)別定位；

虛擬指導(dǎo)模型與物理環(huán)境融合模塊，用于基于所述醫(yī)學(xué)人體模型在線識(shí)別模塊輸出的所述預(yù)設(shè)部位的識(shí)別定位結(jié)果，實(shí)時(shí)地將預(yù)設(shè)的虛擬急救指導(dǎo)模型疊加到所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位上，以實(shí)現(xiàn)預(yù)設(shè)類型的醫(yī)學(xué)急救培訓(xùn)。

8.如權(quán)利要求7所述的基于混合現(xiàn)實(shí)的醫(yī)學(xué)急救培訓(xùn)系統(tǒng)，其特征在于，所述醫(yī)學(xué)人體模型在線識(shí)別模塊具體用于：

對(duì)所述可視化影像進(jìn)行實(shí)時(shí)識(shí)別，得到所述醫(yī)學(xué)人體模型的預(yù)設(shè)部位的分類和定位預(yù)測(cè)結(jié)果，生成包括所述預(yù)設(shè)部分的分類和定位預(yù)測(cè)結(jié)果的識(shí)別圖像。