[發明專利]使用深度學習在熒光鏡檢查視頻中進行導管尖端檢測

在審

• 申請號: 202010198896.4
• 申請日: 2020-03-20
• 公開（公告）號: CN111714205A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: G·阿萊克斯安德羅尼
• 申請（專利權）人: 柯惠有限合伙公司
• 主分類號: A61B34/20
• 分類號: A61B34/20;A61B34/10;A61B5/06;A61B5/00;A61B1/267;A61B6/03
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 高文靜

1.一種增強熒光鏡檢查計算機斷層掃描圖像的方法，包括：

獲取多個熒光鏡檢查圖像；

為所述多個熒光鏡檢查圖像的每一個確定熒光鏡檢查成像裝置的初始姿勢估計；

在至少一個所述熒光鏡檢查圖像中接收導管尖端的指示；

在其余的熒光鏡檢查圖像中投影所述導管尖端的位置；

用模型分析所述圖像，以在所述熒光鏡檢查圖像中識別出所述導管尖端的位置；

基于所述模型識別的所述導管尖端的位置更新所述初始姿勢估計；和

利用更新的姿勢估計，生成所述多個熒光鏡檢查圖像的三維(3D)重建。

2.根據權利要求1所述的方法，還包括顯示從所述3D重建得到的熒光鏡檢查計算機斷層掃描圖像。

3.根據權利要求1所述的方法，還包括裁剪在其上投影了所述導管尖端的位置的所述多個熒光鏡檢查圖像以限定感興趣區域。

4.根據權利要求3所述的方法，還包括確定每個裁剪的熒光鏡檢查圖像中用于檢測所述導管尖端的置信度估計。

5.根據權利要求4所述的方法，還包括以獲取所述多個熒光鏡檢查圖像的順序，識別裁剪的熒光鏡檢查圖像的位于任一側的置信度估計低于確定的閾值的兩個另外的裁剪的熒光鏡檢查圖像。

6.根據權利要求5所述的方法，其中所述兩個另外的裁切的熒光鏡檢查圖像的置信度估計高于確定的閾值。

7.根據權利要求5所述的方法，還包括從置信度估計高于確定的閾值的所述兩個裁剪的熒光鏡檢查圖像中的導管尖端的位置，內插置信度估計低于確定的閾值的所述裁剪的熒光鏡檢查圖像中的導管尖端的位置。

8.根據權利要求1所述的方法，其中自動生成所述導管尖端的接收到的指示。

9.根據權利要求1所述的方法，其中姿勢的初始估計包括針對所述多個熒光鏡檢查圖像中的每一個生成概率圖，所述概率圖指示所述熒光鏡檢查圖像的每個像素屬于標記物投影的概率。

10.根據權利要求9所述的方法，還包括生成用于將標記物投影在所述熒光鏡檢查圖像上的候選者。

11.根據權利要求10所述的方法，還包括基于所述概率圖識別具有是標記物在圖像上的投影的最高標記物投影概率的候選者。

12.一種增強熒光鏡檢查計算機斷層掃描圖像的系統，包括：

計算裝置，其與熒光鏡檢查成像裝置通信并且包括處理器和存儲器，所述存儲器被配置為存儲多個熒光鏡檢查圖像以及應用，所述應用在由所述處理器執行時使所述處理器執行以下步驟：

為所述多個熒光鏡檢查圖像的每一個確定熒光鏡檢查成像裝置的初始姿勢估計；

在至少一個所述熒光鏡檢查圖像中接收導管尖端的指示；

在其余的熒光鏡檢查圖像中投影所述導管尖端的位置；和

裁剪具有導管尖端的投影位置的熒光鏡檢查圖像，以限定一組幀；

神經網絡，其與所述存儲器通信并被配置為分析所述幀，以識別所述導管尖端在所述幀中的位置；

所述存儲器從所述神經網絡接收識別的所述導管尖端在所述幀中的位置，并且所述處理器執行基于所述神經網絡識別的所述導管尖端的位置更新所述初始姿勢估計的應用的步驟；和

利用更新的姿勢估計，生成所述多個熒光鏡檢查圖像的三維(3D)重建。

13.根據權利要求12所述的系統，其中所述處理器進一步執行顯示從所述3D重建得到的熒光鏡檢查計算機斷層掃描圖像的應用的步驟。

14.根據權利要求12所述的系統，其中所述處理器進一步執行針對每個裁剪的熒光鏡檢查圖像生成導管尖端的檢測的置信度估計的應用的步驟。