[發明專利]用于內窺鏡和腹腔鏡導航的同時場景解析和模型融合的方法和系統

在審

• 申請號: 201580080670.1
• 申請日: 2015-06-05
• 公開（公告）號: CN107667380A
• 公開（公告）日: 2018-02-06
• 發明（設計）人: 斯特凡·克盧克納;阿里·卡門;陳德仁
• 申請（專利權）人: 西門子公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/50;G06K9/62;G06T7/11;G06T7/246
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 余剛,李慧

技術領域

本發明涉及腹腔鏡或內窺鏡圖像數據中的語義分割和場景解析，并且更具體地，涉及使用分割的術前圖像數據在腹腔鏡和內窺鏡圖像流中同時進行場景解析和模型融合。

背景技術

在微創外科手術期間，圖像序列為經采集以引導外科手術的腹腔鏡或內窺鏡圖像。可以采集多個2D/2.5D圖像并將其拼接在一起以生成所觀察到的關注器官的3D模型。然而，由于攝像頭和器官移動的復雜性，精確的3D拼接是具有挑戰性的，因為這種3D拼接需要對腹腔鏡或內窺鏡圖像序列的連續幀之間的對應關系進行穩健的估算。

發明內容

本發明提供一種用于使用分割術前圖像數據在術中圖像流如腹腔鏡或內窺鏡圖像流中同時進行場景解析和模型融合的方法和系統。本發明的實施方式利用目標器官的術前和術中模型的融合來促進采集術中圖像流的采集幀的特定場景語義信息。本發明的實施方式自動地將來自術前圖像數據的語義信息傳播到術中圖像流的各個幀，并且隨后可以使用具有語義信息的幀來訓練用于執行對輸入的術中圖像的語義分割的分類器。

在本發明的一個實施方式中，接收包括2D圖像通道和2.5D深度通道的術中圖像流的當前幀。在術前3D醫學圖像數據中分割的目標器官的3D術前模型被融合到術中圖像流的當前幀中。基于目標器官的融合術前3D模型，將來自術前3D醫學圖像數據的語義標簽信息傳播到術中圖像流的當前幀中的多個像素中的每個像素，從而產生用于術中圖像流的當前幀的渲染標簽圖。語義分類器基于用于術中圖像流的當前幀的渲染標簽圖來訓練。

通過參考下面的詳細描述和附圖，本發明的這些和其它優點對于本領域的普通技術人員應是顯而易見的。

附圖說明

圖1示出了根據本發明實施方式的使用3D術前圖像數據在術中圖像流中進行場景解析的方法；

圖2示出了根據本發明實施方式的將3D術前醫學圖像數據剛性配準到術中圖像流的方法；

圖3示出了肝臟的示例性掃描和通過肝臟掃描產生的對應2D/2.5D幀；以及

圖4為能夠實現本發明的計算機的高級框圖。

具體實施方式

本發明涉及一種使用分割的術前圖像數據在腹腔鏡和內窺鏡圖像數據中同時進行模型融合和場景解析的方法和系統。本文描述了本發明的實施方式以給出用于模型融合和場景解析術中圖像數據如腹腔鏡和內窺鏡圖像數據的方法的視覺理解。數字圖像往往由一個或多個對象(或形狀)的數字表示組成。對象的數字表示往往在本文中根據識別和操縱對象來描述。此類操縱為在計算機系統的存儲器或其它電路/硬件中完成的虛擬操縱。因此，應理解，可以使用存儲在計算機系統內的數據在計算機系統內執行本發明的實施方式。

圖像的語義分割著重于提供關于定義的語義標簽的圖像域中的每個像素的解釋。由于像素級分割，圖像中的對象邊界被精確地捕獲。由于視覺外觀、三維形狀、采集設置和場景特征的變化，學習用于如內窺鏡和腹腔鏡圖像的術中圖像中的器官特定的分割和場景解析的可靠分類器是具有挑戰性的。本發明的實施方式利用分割的術前醫學圖像數據，例如分割的肝臟計算機斷層掃描(CT)或磁共振(MR)圖像數據來動態生成標簽圖以便訓練用于在對應的術中RGB-D圖像流中同時進行場景解析的特定分類器。本發明的實施方式將3D處理技術和3D表示用作模型融合的平臺。

根據本發明的實施方式，在采集的腹腔鏡/內窺鏡RGB-D(紅色、綠色、藍色光學和計算的2.5D深度圖)流中執行自動化的和同時的場景解析和模型融合。這使得能夠基于分割的術前醫學圖像數據來采集用于采集的視頻幀的場景特定的語義信息。考慮到模態的基于生物力學的非剛性對準，使用逐幀模式將語義信息自動傳播到光學表面成像(即，RGB-D流)。這支持在臨床手術期間的視覺導航和自動化識別，并提供用于報告和文檔編制的重要信息，因為冗余信息可以被簡化為重要信息，例如示出相關解剖結構或提取內窺鏡采集的關鍵視圖的關鍵幀。本文描述的方法可以用交互式響應時間來實現，并因此可以在外科手術期間實時或接近實時地執行。應理解，術語“腹腔鏡圖像”和“內窺鏡圖像”在本文中可互換使用，并且術語“內窺鏡圖像”是指在外科手術或介入期間采集的任何醫學圖像數據，包括腹腔鏡圖像和內窺鏡圖像。