[發明專利]一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡及其方法

在審

• 申請號: 202211245654.1
• 申請日: 2022-10-12
• 公開（公告）號: CN115620382A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 陳芳;徐天澤;張道強;曹治
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/82;G06V10/764;G06V20/40;G06V20/70;G06N3/0464;G06N3/048;G06N3/08;G06Q10/0639
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 吳旭

本發明公開了一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡及其方法，所述方法包括以下步驟，S1、數據采集與預處理步驟：對影像設備視頻幀預處理，獲取手術專家分析視頻時的眼動信號，生成與每一視頻幀對應的眼動熱圖；S2、網絡訓練步驟：先預訓練生成器，再采用對抗性方案訓練生成器和鑒別器；S3、手術錯誤預判與技能評價步驟：使用訓練好的網絡分析手術視頻，統計手術錯誤出現的頻率并據此給出醫生的技能評價；本發明中的方法無需對手術器械進行定位，通過學習專家觀看輔助影像設備視頻時的眼動模式，結合人工智能方法，直接分析輔助影像設備的視頻輸出，完成手術誤差的預判，并給出醫生手術技能的評價。

技術領域

本發明屬于人工智能，計算機視覺技術領域，特別涉及一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡及其方法。

背景技術

與傳統外科手術相比，微創手術是指在圖像引導下，通過人體自然腔道或者血管網進行器械介入，在人體內實施手術的新技術，其創傷小、并發癥少、術后恢復快，是現代治療方式的新突破。然而，微創介入手術相較于傳統外科手術，手術難度更大，面臨著介入物細小、病變定位復雜等臨床難點問題。微創介入手術的臨床風險與外科醫生操作手術器械的技能和其對閉合解剖結構的了解程度高度相關。自動化的手術錯誤預判與技能評價方法可用于手術技能培訓、手術風險預估，可幫助減少術中傷害、提高手術安全性，具有一定研究價值和臨床意義。

目前存在的手術錯誤預判與技能評價方法主要聚焦于跟蹤外科醫生執行特定手術任務時的手部動作及手術器械的運動，通過手術器械的空間定位技術得到器械的位置以測量目標距離誤差，并與事先制定的標準進行對比。手術器械的空間定位技術一般可分為影像定位、電磁定位兩大類。其中，影像定位一般利用X射線、術中CT和術中核磁成像等方式進行器械定位，然而X射線的使用會產生重復的輻射，給醫生和患者帶來安全性問題，而術中CT和術中核磁成像設備價格昂貴，且核磁成像會引入磁兼容性問題，限制了手術器械的選擇與使用；電磁定位一般需要在器械前端固定磁線圈，據此產生并收集電磁信號來跟蹤器械運動，然而這種方式會擴大器械的體積，影響醫生的手術操作并帶來磁兼容問題。

目前尚無不引入電磁兼容問題、保證醫患安全、不干擾醫生正常手術操作、價格較低且具有一定準確度的手術技能評價方法應用于微創手術中。

發明內容

為了解決現有技術中的問題，本發明提供一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡及其方法，該方法不會引入電磁兼容問題，不產生危害醫患安全的輻射、不干擾醫生正常手術操作且成本較低，能快速普及使用。

為實現上述目的，本發明采用的技術方案為：

一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡，包括兩個CNN模塊：生成器G和鑒別器D；

所述生成器G是一個多任務模型，主任務負責對輸入的手術視頻幀I_i中是否出現錯誤進行分類，輔助任務負責生成專家在進行手術評價時的注意力圖；

所述鑒別器D將生成器G生成的注意力圖和真實注意力圖A進行對比，對輸入的眼動熱圖是真實的還是由生成器G生成的進行分類。