[發(fā)明專利]一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)及其操作方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710056916.2
• 申請(qǐng)日: 2017-01-19
• 公開（公告）號(hào): CN106845120A
• 公開（公告）日: 2017-06-13
• 發(fā)明（設(shè)計(jì)）人: 韓敏
• 申請(qǐng)（專利權(quán)）人: 杭州古珀醫(yī)療科技有限公司
• 主分類號(hào): G06F19/00
• 分類號(hào): G06F19/00
• 代理公司: 北京卓唐知識(shí)產(chǎn)權(quán)代理有限公司11541
• 代理人: 龔潔

技術(shù)領(lǐng)域

本發(fā)明涉及遠(yuǎn)程醫(yī)療技術(shù)領(lǐng)域，具體涉及一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)及其操作方法。

背景技術(shù)

混合現(xiàn)實(shí)技術(shù)(MR)是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在現(xiàn)實(shí)場(chǎng)景呈現(xiàn)虛擬場(chǎng)景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。混合現(xiàn)實(shí)(MR)(既包括增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬)指的是合并現(xiàn)實(shí)和虛擬世界而產(chǎn)生的新的可視化環(huán)境。在新的可視化環(huán)境里物理和數(shù)字對(duì)象共存，并實(shí)時(shí)互動(dòng)。

混合現(xiàn)實(shí)技術(shù)為人類生活帶來了極大的便利，在醫(yī)療領(lǐng)域就獲得的極大的體現(xiàn)，例如公開號(hào)為CN106109015A的發(fā)明專利公開了一種頭戴式醫(yī)療系統(tǒng)及其操作方法，包括AR/MR頭戴顯示設(shè)備和激光發(fā)生器，AR/MR頭戴顯示設(shè)備佩戴在醫(yī)生的頭部，激光發(fā)生器架設(shè)在手術(shù)臺(tái)的上方，在病患者體表做好人造骨性標(biāo)志，激光發(fā)生器對(duì)準(zhǔn)患者患病部位的體表進(jìn)行照射，把CT掃描取得的患部3D模型輸入AR/MR頭戴顯示設(shè)備中，醫(yī)生佩戴并啟動(dòng)AR/MR頭戴顯示設(shè)備，視線對(duì)準(zhǔn)人造骨性標(biāo)志，佩戴AR/MR頭戴顯示設(shè)備內(nèi)的攝像頭對(duì)人造骨性標(biāo)志進(jìn)行觀察和識(shí)別，把患部3D模型顯示在患者身體的對(duì)應(yīng)位置，佩戴AR/MR頭戴顯示設(shè)備的醫(yī)生圍繞手術(shù)臺(tái)隨意走動(dòng)，觀察患部3D模型，指導(dǎo)手術(shù)操作。本發(fā)明相對(duì)于現(xiàn)有手術(shù)技術(shù)有更高效、更直觀、安全性更高、功能性更強(qiáng)的特點(diǎn)。

雖然應(yīng)用混合現(xiàn)實(shí)技術(shù)極大的提高了手術(shù)操作者的工作效率和準(zhǔn)確性，更加高效直觀，但是對(duì)于遠(yuǎn)程會(huì)診的改造還未得到體現(xiàn)，現(xiàn)有的遠(yuǎn)程醫(yī)療系統(tǒng)的主要缺點(diǎn)有：

需要建立遠(yuǎn)程會(huì)診或醫(yī)療室，并配備各種硬件設(shè)備，各硬件之間的兼容性相對(duì)不穩(wěn)定。搭建該系統(tǒng)的硬件成本及維護(hù)費(fèi)用非常高。會(huì)診地點(diǎn)受限于會(huì)診室，這不僅使會(huì)診組織者花更多精力進(jìn)行參會(huì)協(xié)調(diào)，也使與會(huì)人員消耗了較多的時(shí)間成本。參會(huì)人員共同觀看顯示器所展示的內(nèi)容，當(dāng)專科醫(yī)師需要了解病患在自身醫(yī)學(xué)領(lǐng)域的檢查檢驗(yàn)報(bào)告或者相關(guān)醫(yī)學(xué)資料時(shí)，無法盡數(shù)投射在顯示器上，故只能擴(kuò)充更多的終端顯示設(shè)備。

發(fā)明內(nèi)容

本發(fā)明為了解決上述技術(shù)問題，提供一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)及其操作方法，使用全息投影技術(shù)，可以突破空間的限制，展示更多有效內(nèi)容，避免擴(kuò)充更多終端顯示設(shè)備，極大的提高了遠(yuǎn)程醫(yī)療的便利性和高效性。

為了達(dá)到上述技術(shù)效果，本發(fā)明包括以下技術(shù)方案：

本發(fā)明提供了一種基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程醫(yī)療系統(tǒng)，包括服務(wù)器、醫(yī)院信息系統(tǒng)、存儲(chǔ)器和多個(gè)MR智能終端，

所述服務(wù)器，分別連接所述醫(yī)院信息系統(tǒng)、存儲(chǔ)器和多個(gè)MR智能終端；

所述醫(yī)院信息系統(tǒng)包括EMR、PACS系統(tǒng)和LIS系統(tǒng)，用于存儲(chǔ)患者的醫(yī)療資料，并將所述醫(yī)療資料通過服務(wù)器上傳至MR智能終端，用于生成混合現(xiàn)實(shí)場(chǎng)景；

所述存儲(chǔ)器用于存儲(chǔ)診療記錄、診療建議及意見；

所述MR智能終端用于獲取物理環(huán)境信息，進(jìn)行物理環(huán)境建模，生成物理環(huán)境模型，并且將醫(yī)療資料投射到物理環(huán)境模型中，獲得混合現(xiàn)實(shí)場(chǎng)景；所述MR智能終端還用于通過多種控制方式對(duì)混合現(xiàn)實(shí)場(chǎng)景中的醫(yī)療資料進(jìn)行查閱、編輯、整理和統(tǒng)計(jì)分析；所述MR智能終端還用于各個(gè)佩戴者之間進(jìn)行音頻、視頻溝通以及資料共享。

進(jìn)一步地，所述MR智能終端為MR智能眼鏡，包括控制器，還包括與控制器連接的通信模塊、光學(xué)投射模塊、輸入模塊、輸出模塊和操作模塊，

所述控制器用于控制執(zhí)行混合現(xiàn)實(shí)交互程序；

所述通信模塊用于各個(gè)MR智能眼鏡之間的通信連接，還用于MR智能眼鏡與服務(wù)器之間的通信連接；

所述光學(xué)投射模塊用于執(zhí)行將醫(yī)療資料投射到物理環(huán)境模型中，形成混合現(xiàn)實(shí)場(chǎng)景；

所述輸入模塊，用于輸入用于控制MR智能眼鏡的數(shù)據(jù)；

所述輸出模塊包括揚(yáng)聲器和顯示器，分別用于輸出音頻信號(hào)、視頻信號(hào)；

所述操作模塊用于獲取MR智能眼鏡的狀態(tài)、MR智能眼鏡的周圍事物的狀態(tài)、MR智能眼鏡穿戴者的狀態(tài)和運(yùn)動(dòng)信息，并且將感測(cè)到的信息發(fā)送到控制器。

一種上述遠(yuǎn)程醫(yī)療系統(tǒng)的操作方法，包括以下步驟：

步驟一：患者或本地醫(yī)師所在的空間內(nèi)和遠(yuǎn)端醫(yī)師所在診療空間內(nèi)均設(shè)置MR智能終端，各MR智能終端之間建立通信連接；

步驟二：各個(gè)空間內(nèi)的MR智能終端自動(dòng)識(shí)別佩戴者所處物理環(huán)境信息，并進(jìn)行物理環(huán)境建模，生成物理環(huán)境模型；

步驟三：患者或本地醫(yī)師所在空間內(nèi)的MR智能終端連接醫(yī)院的EMR、PACS或LIS系統(tǒng)，進(jìn)行數(shù)據(jù)同步，獲取到該患者所需要的醫(yī)療資料；