[發明專利]用于內窺鏡和腹腔鏡導航的同時場景解析和模型融合的方法和系統

在審

• 申請號: 201580080670.1
• 申請日: 2015-06-05
• 公開（公告）號: CN107667380A
• 公開（公告）日: 2018-02-06
• 發明（設計）人: 斯特凡·克盧克納;阿里·卡門;陳德仁
• 申請（專利權）人: 西門子公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/50;G06K9/62;G06T7/11;G06T7/246
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 余剛,李慧

1.一種用于在術中圖像流中進行場景解析的方法，包括：

接收包括2D圖像通道和2.5D深度通道的術中圖像流的當前幀；

將在術前3D醫學圖像數據中分割的目標器官的3D術前模型融合到所述術中圖像流的所述當前幀；

基于所述目標器官的所述融合術前3D模型，將來自所述術前3D醫學圖像數據的語義標簽信息傳播到所述術中圖像流的所述當前幀中的多個像素中的每個像素，從而產生所述術中圖像流的所述當前幀的渲染標簽圖；以及

基于用于所述術中圖像流的所述當前幀的所述渲染標簽圖來訓練語義分類器。

2.根據權利要求1所述的方法，其中，將在術前3D醫學圖像數據中分割的目標器官的3D術前模型融合到所述術中圖像流的所述當前幀包括：

在所述術前3D醫學圖像數據與所述術中圖像流之間執行初始非剛性配準；以及

使用所述目標器官的計算生物力學模型使所述目標器官的所述3D術前模型變形以將所述術前3D醫學圖像數據與所述術中圖像流的所述當前幀對準。

3.根據權利要求2所述的方法，其中，在所述術前3D醫學圖像數據與所述術中圖像流之間執行初始非剛性配準包括：

拼接所述術中圖像流的多個幀以生成所述目標器官的3D術中模型；以及

在所述目標器官的所述3D術前模型與所述目標器官的所述3D術中模型之間執行剛性配準。

4.根據權利要求2所述的方法，其中，使用所述目標器官的計算生物力學模型使所述目標器官的所述3D術前模型變形以將所述術前3D醫學圖像數據與所述術中圖像流的所述當前幀對準包括：

使用所述目標器官的所述計算生物力學模型使所述目標器官的所述3D術前模型變形，以將所述術前3D醫學圖像數據與所述術中圖像流的所述當前幀的所述2.5D深度通道中的深度信息對準。

5.根據權利要求2所述的方法，其中，使用所述目標器官的計算生物力學模型使所述目標器官的所述3D術前模型變形以將所述術前3D醫學圖像數據與所述術中圖像流的所述當前幀對準包括：

估算所述目標器官的所述3D術前模型與所述當前幀中的所述目標器官之間的對應關系；

根據所述對應關系估算所述目標器官上的力；以及

使用所述目標器官的所述計算生物力學模型基于估算的力來模擬所述目標器官的所述3D術前模型的變形。

6.根據權利要求1所述的方法，其中，基于所述目標器官的所述融合術前3D模型，將來自所述術前3D醫學圖像數據的語義標簽信息傳播到所述術中圖像流的所述當前幀中的多個像素中的每個像素，從而產生所述術中圖像流的所述當前幀的渲染標簽圖包括：

基于所述目標器官的所述融合術前3D模型，將所述術前3D醫學圖像數據與所述術中圖像流的所述當前幀對準；

基于所述當前幀的姿態來估算對應于所述術中圖像流的所述當前幀的所述3D醫學圖像數據中的投影圖像；以及

通過將來自所述3D醫學圖像數據中的所述估算的投影圖像中的多個像素位置中的每個像素位置的語義標簽傳播到所述術中圖像流的所述當前幀中的所述多個像素中的對應像素術中來渲染所述術中圖像流的所述當前幀的渲染標簽圖。

7.根據權利要求1所述的方法，其中，基于用于所述術中圖像流的所述當前幀的所述渲染標簽圖來訓練語義分類器的過程包括：

基于用于所述術中圖像流的所述當前幀的所述渲染標簽圖來更新經訓練的語義分類器。

8.根據權利要求1所述的方法，其中，基于用于所述術中圖像流的所述當前幀的所述渲染標簽圖來訓練語義分類器包括：

針對所述術中圖像流的所述當前幀，在所述渲染標簽圖中的一個或多個經標記的語義類別中的每個語義類別中對所述訓練樣本進行采樣；以及

針對所述術中圖像流的所述當前幀，基于所述渲染標簽圖中的所述一個或多個經標記的語義類別中的每個語義類別中的所述訓練樣本來訓練所述語義分類器。