[發(fā)明專利]基于混合現(xiàn)實三維可視化的輔助診療系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810630686.0
• 申請日: 2018-06-19
• 公開（公告）號: CN109036548A
• 公開（公告）日: 2018-12-18
• 發(fā)明（設計）人: 邱兆文;張健
• 申請（專利權）人: 黑龍江拓盟科技有限公司
• 主分類號: G16H50/20
• 分類號: G16H50/20;G16H80/00;G06T19/00
• 代理公司: 大慶禹奧專利事務所 23208
• 代理人: 朱士文;楊曉梅

本發(fā)明涉及一種基于混合現(xiàn)實三維可視化的輔助診療系統(tǒng)，包括：數(shù)據(jù)預處理單元，用于接收云平臺上醫(yī)院提供的醫(yī)學影像，并轉為常用的Dicom格式用于后面的數(shù)字化處理；三維重構單元，采用vtk環(huán)境下的重構技術，對影像進行體繪制，生成可用的STL格式，然后對三維模型進行人工處理，完善模型；模型上傳單元，對模型進行格式轉換，生成混合現(xiàn)實系統(tǒng)可用的文件格式，并進行文件上傳；輔助醫(yī)療單元，在手術過程中通過混合現(xiàn)實設備通過視覺疊加技術將3D模型覆蓋在人體上，輔助醫(yī)生進行手術。本發(fā)明在醫(yī)療領域的應用，解決目前醫(yī)生在手術中無法將3D顯示的人體結構與病人真實的解剖部位進行對應，進而實施精準手術的問題。

技術領域

本發(fā)明屬于圖像識別和醫(yī)學圖像處理領域，涉及一種基于混合現(xiàn)實三維可視化的輔助診療系統(tǒng)。

背景技術

混合現(xiàn)實指的是合并現(xiàn)實和虛擬世界而產(chǎn)生的新的可視化環(huán)境，在新的可視化環(huán)境里物理和數(shù)字對象共存，并實時互動?；旌犀F(xiàn)實的實現(xiàn)需要在一個能與現(xiàn)實世界各事物相互交互的環(huán)境中，如果一切事物都是虛擬的那就是虛擬現(xiàn)實，如果展現(xiàn)出來的虛擬信息只能簡單疊加在現(xiàn)實事物上，那就是增強現(xiàn)實。將二者的優(yōu)勢結合即為混合現(xiàn)實的最終目的所在。

隨著科技的不斷發(fā)展，智能醫(yī)療技術也不斷在提高。從前，醫(yī)生在手術中無法將3D顯示的人體結構與病人真實的解剖部位進行對應，進而實施精準手術。因此，如果能夠將混合現(xiàn)實的原理應用于醫(yī)學領域，輔助診療，將具有巨大的市場應用前景。

發(fā)明內容

本發(fā)明的目的是提供一種基于混合現(xiàn)實三維可視化的輔助診療系統(tǒng)，解決目前醫(yī)生在手術中無法將3D顯示的人體結構與病人真實的解剖部位進行對應，進而實施精準手術的問題。

本發(fā)明通過以下技術方案來實現(xiàn)：一種基于混合現(xiàn)實三維可視化的輔助診療系統(tǒng)，包括：

數(shù)據(jù)預處理單元，用于接收云平臺上醫(yī)院提供的醫(yī)學影像，并轉為常用的Dicom格式用于后面的數(shù)字化處理；

三維重構單元，采用vtk環(huán)境下的重構技術，對影像進行體繪制，生成可用的STL格式，然后對三維模型進行人工處理，完善模型；

模型上傳單元，對模型進行格式轉換，生成混合現(xiàn)實系統(tǒng)可用的文件格式，并進行文件上傳；

輔助醫(yī)療單元，在手術過程中通過混合現(xiàn)實設備通過視覺疊加技術將3D模型覆蓋在人體上，輔助醫(yī)生進行手術。

進一步的，所述的三維重構單元包括重建模塊和人工處理模塊，重建模塊是基于vtk環(huán)境下的重構技術對Dicom格式影像進行圖像渲染，實現(xiàn)三維重構，人工處理模塊是對模型進行人工處理，處理方式包括蜂窩狀缺損創(chuàng)新的處理、快速光滑處理、去除釘狀物處理、補洞處理。

進一步的，所述的蜂窩狀缺損創(chuàng)新的處理是將模型向外抽殼一定厚度，根據(jù)模型大小不同抽殼厚度經(jīng)驗值在1～5mm，此時模型會在外出形成一個新的模型變成內外兩層結構。

進一步的，所述的補洞處理是在蜂窩狀缺損創(chuàng)新的處理方法處理后將模型調入Geomagic Studio軟件做差別比對，兩模型細節(jié)處差別較大的部分使用雕刻刀工具處理，然后通過添加材質或刪除材質處理減小形狀誤差。

進一步的，所述的輔助醫(yī)療單元包括UI模塊和體感控制模塊，UI模塊用于承載混合現(xiàn)實模型的各項功能模塊，用于系統(tǒng)與可視化用戶交互，體感控制模塊通過與混合現(xiàn)實設備的手勢感應，實現(xiàn)對模型的放大縮小，也能夠以不同角度翻轉觀測其結構和空間位置關系。

所述的混合現(xiàn)實設備為微軟Hololens眼鏡。

采用上述技術方案的積極效果：本發(fā)明從病灶的三維重建過程，采用的技術，虛擬現(xiàn)實與實際場景的結合，來說明混合現(xiàn)實系統(tǒng)在醫(yī)療領域的應用，該技術的實施，實現(xiàn)了醫(yī)生跨空間實時互動與遠程手術參與，可以為我國醫(yī)聯(lián)體和分級診療制度提供高效、低成本、簡易的最優(yōu)解決方案。

附圖說明