[發明專利]一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡及其方法

在審

• 申請號: 202211245654.1
• 申請日: 2022-10-12
• 公開（公告）號: CN115620382A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 陳芳;徐天澤;張道強;曹治
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/82;G06V10/764;G06V20/40;G06V20/70;G06N3/0464;G06N3/048;G06N3/08;G06Q10/0639
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 吳旭

1.一種基于專家眼動數據的微創手術錯誤預判與技能評價網絡，其特征在于，包括兩個CNN模塊：生成器G和鑒別器D；

所述生成器G是一個多任務模型，主任務負責對輸入的手術視頻幀I_i中是否出現錯誤進行分類，輔助任務負責生成專家在進行手術評價時的注意力圖；

所述鑒別器D將生成器G生成的注意力圖和真實注意力圖A進行對比，對輸入的眼動熱圖是真實的還是由生成器G生成的進行分類。

2.根據權利要求1所述的基于專家眼動數據的微創手術錯誤預判與技能評價網絡，其特征在于，

所述生成器G采用全卷積網絡，前三個卷積塊所有卷積層都使用3x3的卷積核，其中，第一個卷積塊獲取240x240大小的圖像輸入，分為兩層，每層16個卷積核，之后進行2x2的最大池化；第二個卷積塊分為兩層，每層32個卷積核，之后進行2x2的最大池化；第三個卷積塊分為三層，每層64個卷積核；第三個卷積塊得到的特征圖φ_c3被分別用作輔助任務的注意力圖預測和主任務的分類；輔助任務和主任務在第三個卷積塊后分支，輔助任務和主任務的第四個卷積塊采用了相同的結構：先對特征圖φ_c3進行2x2的最大池化，再通過三層含有128個3x3卷積核的卷積層，分別得到30x30的特征圖φ_c4S和特征圖φ_c4C，二者經過點積，輸入第五個卷積塊中，通過三層含有128個3x3卷積核的卷積層；經過共五個卷積塊后，特征圖被送入適配層進行通道壓縮，適配層采用1x1的卷積核，第一個適配層含有256個卷積核，第二個適配層含有2個卷積核，經過兩層適配層后，得到兩張30x30的特征圖，對兩張30x30的特征圖進行全局平均池化，使用softmax得到分類分數向量。

3.根據權利要求1所述的基于專家眼動數據的微創手術錯誤預判與技能評價網絡，其特征在于，

所述鑒別器D是一個具有三個卷積層的CNN網絡，分別具有64、128、256個3x3卷積核，每個層都具有2x2的最大池化，采用leaky Relu激活；卷積層后連接了三個全連接層，前兩層由tanh激活，最后一層使用sigmoid激活；由于專家的注意力與視頻幀的內容有關，將生成的注意力圖或真實注意力圖A與對應視頻幀I復合后作為鑒別器D的輸入。

4.根據權利要求3所述的基于專家眼動數據的微創手術錯誤預判與技能評價網絡，其特征在于，

將生成的注意力圖或真實注意力圖A之間的像素級內容損失定義為L_s，使用二進制交叉熵(BCE)衡量；對于分類任務，使用交叉熵損失并定義為L_C；取超參數λ₁、γ₂、λ₃，用于控制三個損失的相對貢獻，設樣本視頻幀總量為m，第i個視頻幀為I_i，基于其生成的注意力圖為相應的真實注意力圖為A_i，生成器損失L_G和鑒別器損失L_D定義為：

其中：D(I_i,A_i；θ_D)表示鑒別器成功識別真實注意力圖的概率，而表示鑒別器被欺騙的概率，θ_D表示D的權重。

5.根據權利要求1-4任一所述網絡的基于專家眼動數據的微創手術錯誤預判與技能評價方法，其特征在于，包括以下步驟：

S1、數據采集與預處理步驟：對影像設備視頻幀預處理，獲取手術專家分析視頻時的眼動信號，生成與每一視頻幀對應的眼動熱圖；

S2、網絡訓練步驟：先預訓練生成器，再采用對抗性方案訓練生成器和鑒別器；

S3、手術錯誤預判與技能評價步驟：使用訓練好的網絡分析手術視頻，統計手術錯誤出現的頻率并據此給出醫生的技能評價。