[發明專利]一種基于雙目定位的混合透視方法、系統及設備

有效

• 申請號: 202211636244.X
• 申請日: 2022-12-20
• 公開（公告）號: CN115619790B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 翟偉明;魯通
• 申請（專利權）人: 北京維卓致遠醫療科技發展有限責任公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/13;G06T7/136;G06T7/33;G06T7/73;G06T17/00;G06N3/0464;G06N3/08;A61B34/20;A61B34/00;A61B34/10
• 代理公司: 北京預立生科知識產權代理有限公司 11736
• 代理人: 李紅偉

1.一種基于雙目定位的混合透視方法，包括：

獲取患者的三維器官模型；

基于雙攝像頭獲取參考架圖像，根據所述參考架圖像得到實時的參考架在雙攝像頭坐標系下的空間位姿信息，所述參考架圖像是手術器械工具中的參考架的圖像，所述空間位姿信息包括所述參考架具有特定結構的關鍵特征點，所述特定結構包括由黑白交替的特征點構成的多個黑白交替的目標區域，所述關鍵特征點通過左右兩個相機對參考架圖像進行自適應搜索確定搜索框半徑，對搜索框半徑所在區域進行卷積運算得到卷積圖，根據卷積圖確定特征點位置，定位得到關鍵特征點；

基于所述空間位姿信息構建參考架掩膜圖像，得到實時的參考架掩膜圖像；

基于雙攝像頭獲取患者人體圖像，通過配準確定人體坐標系和雙攝像頭坐標系的映射關系，映射得到患者人體模型；

基于三維器官模型、患者人體模型、實時的參考架掩膜圖像和雙攝像頭坐標系的位置關系，在雙攝像頭的視頻中實時顯示的人體模型上同時投影所述三維器官模型、所述實時的參考架掩膜圖像，得到混合透視視頻圖像。

2.根據權利要求1所述的一種基于雙目定位的混合透視方法，其特征在于，所述患者的三維器官模型基于患者術前的各種器官的醫學影像按照1：1比例進行三維器官重建得到。

3.根據權利要求1所述的一種基于雙目定位的混合透視方法，其特征在于，所述基于雙攝像頭獲取參考架圖像還包括通過雙目定位對所述參考架進行定位得到所述參考架的關鍵特征點。

4.根據權利要求3所述的一種基于雙目定位的混合透視方法，其特征在于，所述雙目定位利用張正友標定法對左右兩個相機進行標定和雙目矯正，基于參考架圖像通過自適應搜索確定搜索半徑，沿著搜索框邊緣檢測滿足有且僅有黑白交替點的候選區域，對所述候選區域進行對稱性檢測，過濾不滿足條件的區域，對滿足條件的候選區域做卷積計算得到積分結果，根據積分結果生成積分圖，對積分圖做非極大值抑制和亞像素點位置計算來確定特征點位置，根據特征點位置定位得到所述參考架的關鍵特征點。

5.根據權利要求4所述的一種基于雙目定位的混合透視方法，其特征在于，所述對積分圖做非極大值抑制是在積分圖中對候選區域中的候選特征點進行非極大值抑制計算得到候選區域內積分最高的特征點坐標，所述亞像素點位置計算是根據所述候選區域內積分最高的特征點周圍的積分分布情況，計算出橫縱偏移值，得到亞像素坐標特征點的三維空間坐標位置，即亞像素點位置。

6.根據權利要求1所述的一種基于雙目定位的混合透視方法，其特征在于，所述實時的參考架掩膜圖像，基于所述空間位姿信息中的關鍵特征點生成，具體的，通過遍歷雙攝像頭獲取的左右兩幅圖中的特征點查找是否存在所述參考架指定的特殊形狀，過濾掉未配對的特征點，再通過配對成功的特征點檢測對應關系，利用最小二乘法計算得到參考架掩膜圖像。

7.根據權利要求1所述的一種基于雙目定位的混合透視方法，其特征在于，所述基于雙攝像頭獲取患者人體圖像，還包括通過機器學習的方法對患者人體圖像的目標區域進行自動分割和定位，得到目標區域的關鍵位置信息和姿態信息，基于目標區域的關鍵位置信息和姿態信息進而確定人體坐標系。

8.根據權利要求7所述的一種基于雙目定位的混合透視方法，其特征在于，所述自動分割和定位通過下列算法中的任意一種或幾種實現：分水嶺分割、U-Net、MIScnn、ResUNet。

9.根據權利要求1所述的一種基于雙目定位的混合透視方法，其特征在于，所述配準通過點云配準的方法確定人體坐標系和雙攝像頭坐標系的映射關系，所述點云配準基于全局特征配準和局部特征配準的混合方式進行。