[發明專利]基于結構光立體視覺的氣管插管導航系統

有效

• 申請號: 202210899630.1
• 申請日: 2022-07-28
• 公開（公告）號: CN115252992B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 韓永正;付銘明;劉暢;賈斐;黃河;原青;郭江真;朱罡;王豫;譚宏宇;郭向陽
• 申請（專利權）人: 北京大學第三醫院（北京大學第三臨床醫學院）
• 主分類號: A61M16/04
• 分類號: A61M16/04;A61B1/267;A61B1/04;A61B1/06;A61B34/20;G06T15/04;G06T17/00
• 代理公司: 北京天達知識產權代理事務所有限公司 11386
• 代理人: 龐許倩

1.一種基于結構光立體視覺的氣管插管導航系統，其特征在于，包括：光源模塊、氣管識別模塊、數據處理模塊和控制模塊；

所述光源模塊用于為導管探頭的當前位置投射不同的環境光；

所述氣管識別模塊包括第一攝像頭模塊和第二攝像頭模塊，設置于導管探頭內，通過設置于導管內的數據傳輸線與所述數據處理模塊通信連接，用于獲取氣管內的圖像；所述第一攝像頭模塊包括一個紅外攝像頭，用于在所述光源模塊投射結構光的狀態下獲取氣管內的結構光圖像；所述第二攝像頭模塊包括兩個相同的紅外攝像頭，用于在所述光源模塊投射紅外光的條件下，獲取雙目視覺圖像；

所述數據處理模塊用于對獲取的氣管內的圖像進行三維融合處理，并基于融合處理后得到的三維圖像，利用預先訓練的圖像識別模型判定下一步導航方向；所述數據處理模塊用于對獲取的氣管內的圖像進行三維融合處理，包括：對所述結構光圖像和雙目視覺圖像分別進行三維重建，得到結構光三維模型和雙目視覺三維模型；對所述結構光三維模型和雙目視覺三維模型進行特征點融合，得到三維融合重建模型；所述三維融合重建模型用于判定下一步導航方向；所述對所述結構光三維模型和雙目視覺三維模型進行特征點融合，包括：對結構光三維模型和雙目視覺三維模型進行坐標系歸一化；基于結構光三維模型和雙目視覺三維模型對應的兩個特征點的深度差異和角度差異得到每個特征點的空間位置差異，對于每個特征點的空間位置差異進行求和，得到全局特征點空間位置差異，最小化全局特征點空間位置差異，構建得到三維融合重建結果；對所述三維融合重建結果進行平滑濾波處理，得到所述三維融合重建模型；

所述控制模塊用于根據預設的流程控制所述光源模塊產生不同的環境光，并控制所述氣管識別模塊根據當前的環境光通過對應的攝像頭模塊獲取圖像；所述控制模塊還用于通過設置于導管內的電機驅動線驅動所述探頭根據下一步所述導航方向引導探頭移動。

2.根據權利要求1所述的氣管插管導航系統，其特征在于，所述光源模塊包括光源、光纖、濾光片、透鏡組和光柵；所述濾光片、透鏡組和光柵均通過電機驅動線與所述控制模塊連接；所述光源發出的光束經過依次設置于光纖的光束入射端的一組濾光片和透鏡組進行濾波整形后，得到均勻的平行光；所述平行光經過光纖傳導到光纖的光束出射端，所述光束出射端出射的光束再依次經過另一組濾光片、透鏡組和光柵濾波整形后輸出，為氣管內探頭當前位置提供結構光、紅外光或可見光。

3.根據權利要求1所述的氣管插管導航系統，其特征在于，所述系統還包括可見光攝像頭模塊，所述可見光攝像頭模塊包括至少一個可見光攝像頭；所述可見光攝像頭設置于探頭內，通過設置于導管內的數據傳輸線與所述數據處理模塊通信連接，用于在光源模塊投射可見光的狀態下，采集氣管內當前位置的可見光圖像；利用所述可見光圖像對融合處理后得到的所述三維圖像進行三維建模貼圖操作，得到氣管中當前位置的三維彩色圖像；

基于當前位置的所述三維彩色圖像，輔助判斷下一步導航方向。

4.根據權利要求1所述的氣管插管導航系統，其特征在于，還包括慣性導航模塊，所述慣性導航模塊包括加速度計、磁力計和陀螺儀；所述慣性導航模塊通過設置于導管內的數據傳輸線與所述數據處理模塊通信連接，并將獲取的導管探頭在導管探頭坐標系下的姿態信息發送至數據處理模塊，數據處理模塊將所述導管探頭坐標系下的姿態信息轉換至地球坐標系得到地球坐標系下的導管探頭姿態信息，并基于地球坐標系下的導管探頭姿態信息得到地球坐標系下的所述三維模型的姿態，并根據三維模型的所述姿態預測前進方向的坐標。

5.根據權利要求1所述的氣管插管導航系統，其特征在于，通過下式最小化結構光三維模型和雙目視覺三維模型全局特征點的空間位置差異，構建得到三維融合重建的結果：

其中，ε(Γ)為全局特征點的空間位置差異；為雙目視覺三維模型中特征點(i,j,k)表面的垂直單位向量；為結構光三維模型中與特征點(i,j,k)匹配的特征點(i′,j′,k′)表面的垂直單位向量；為雙目視覺三維模型中特征點(i,j,k)對應的向量；為結構光三維模型中特征點(i′,j′,k′)對應的向量；表示表面的垂直單位向量夾角差異；表示特征點對應向量夾角差異；表示特征點對應向量距離原點距離差異。