[發明專利]一種用于手術導航的多層次交互可視化方法

有效

• 申請號: 201910899200.8
• 申請日: 2019-09-23
• 公開（公告）號: CN110522516B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 顧詩元;孫曉燕;周淵博;吳燕波
• 申請（專利權）人: 杭州師范大學
• 主分類號: A61B34/20
• 分類號: A61B34/20
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發明公開了一種用于手術導航的多層次交互可視化方法。本發明方法步驟如下：首先獲取醫學影像設備輸出的多模態二維影像數據，對多模態二維影像數據進行預處理，獲得組織器官圖像；然后對組織器官圖像二維組織器官圖像進行三維重建，得到組織器官和病灶位置的3D模型文件并傳輸至客戶端；客戶端解析3D模型文件獲得輪廓模型；選擇3D模型中的感興趣區域并對其進行清晰渲染，定義高危組織模型并染色，最后通過AR模塊，將輪廓模型與渲染后的3D模型疊加至真實世界患者的對應位置，并在移動終端上顯示輔助信息。本發明方法能夠幫助醫生在手術過程中根據手術路徑實時追蹤并分層次顯示病灶部位周圍組織器官，減緩醫生壓力、提高其手術成功率的效果。

技術領域

本發明涉及醫學圖像處理、人工智能、醫學影像可視化技術領域，具體涉及一種用于手術導航的多層次交互可視化方法。

背景技術

隨著計算機圖形學技術的發展，人們對三維信息的需求與日俱增，三維可視化技術也迅速發展，而其在醫學影像領域的應用也越加廣泛。近幾年，針對醫療領域的3D可視化平臺層出不窮。但現有的可視化平臺因傳輸速度、文件大小、渲染效果等方方面面的原因，特別是在移動端方面存在許多缺陷，比如移動端算力不足、渲染緩慢，導致在應用場景上有著很大的局限性。且其中大部分僅提供術前影像的查看或是針對術前的手術規劃，在手術過程中無法提供幫助。而新興的增強現實(AR)技術使得術前規劃信息在手術過程實時呈現給醫生成為可能，但目前用于AR手術的可視化平臺還不完善。在手術過程中，現有的醫學影像可視化平臺很少能夠提供病灶部位的輔助呈現，醫生在手術過程中對腫瘤位置只能靠對術前影像分析后的推斷，這就更考究醫生本身的經驗和技術。

發明內容

針對現有技術存在的不足，本發明提供一種用于手術導航的多層次交互可視化方法，其應用場景主要分為術前和術中兩個階段。在術前階段在PC端提供多模態圖像的預處理，以及三維重建，渲染，并在此基礎上進行手術路徑的規劃；在術中階段通過結合AR技術進行三維模型的輔助呈現，達到更為直觀的效果。考慮術中場景的具體情況，使用移動設備進行顯示更為方便快捷，通過兩個階段相結合，最終對手術實施達到一個精確輔助的效果。

一種用于手術導航的多層次交互可視化方法，步驟如下：

步驟(1).獲取醫學影像設備輸出的多模態二維影像數據，所述的多模態二維影像數據包括CT、MRI、DR、CTA、PET圖像；

步驟(2).通過服務器端對多模態二維影像數據進行預處理，獲得組織器官圖像，將組織器官圖像進行壓縮處理獲得壓縮后的組織器官圖像；

步驟(3).對組織器官圖像與壓縮后的組織器官圖像分別進行三維重建，得到包含組織器官和病灶位置的3D模型文件與模糊3D模型文件并傳輸至客戶端；

步驟(4).客戶端通過XTK框架識別vtk格式的模糊3D模型文件，解析模糊3D模型文件中的坐標數據，通過WebGL進行面繪制，獲得輪廓模型。

步驟(5).通過術前規劃的手術路徑及用戶的交互操作對步驟(3)所述的3D模型文件中的感興趣區域進行選擇并對所述感興趣區域進行渲染，獲得渲染后的3D模型。

步驟(6).通過AR模塊，將輪廓模型與渲染后的3D模型疊加至真實世界患者的對應位置，并在移動終端上顯示輔助信息。

步驟(2)具體方法如下：

所述圖像預處理操作通過3D Slicer軟件完成，將多模態二維影像數據導入3DSlicer軟件中，使用3D Slicer軟件的降噪模塊對圖像進行降噪，使用3D Slicer軟件的分割模塊對圖像進行分割，可采取閾值分割或手動分割方式，使用3D Slicer軟件的配準模塊對同一患者不同模態分割后的圖像進行配準，使用3D Slicer軟件的融合模塊對配準后的圖像進行融合獲得組織器官圖像，使用3D Slicer軟件的壓縮模塊對組織器官圖像進行壓縮獲得壓縮后的組織器官圖像。