[發明專利]基于多任務學習的手術工具和手術階段識別方法

在審

• 申請號: 202111466043.5
• 申請日: 2021-12-03
• 公開（公告）號: CN114359782A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 吳秋遐;韋喆藝
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06V10/20;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于多任務學習的手術工具和手術階段識別方法，其特征在于，包括以下步驟：

1)收集微創外科手術視頻，每個視頻一場記錄外科醫生進行腹腔微創外科手術的全過程，然后將微創外科手術視頻按幀切割成圖片，得到圖片序列數據集；

2)利用Backbone網絡共享中間層對圖片序列數據集中的手術工具和手術階段進行初步特征提取，共享手術工具和手術階段的信息，得到的初始特征圖作為后續特征增強模塊的輸入，其中，初始特征圖為多尺度特征圖；

3)使用特征增強模塊對初始特征圖進行特征融合，將淺層特征的邊緣信息和深層特征的語義信息互相補充；

4)利用雙頭分類器分別得到手術工具和手術階段的識別結果，雙頭分類器其中一個分支為手術工具識別分支，用于將手術工具識別任務建模為多標簽分類任務，使用Sigmoid激活函數計算得到手術工具的預測結果，同時使用BCE損失函數計算該分支的損失值，另外一個分支為手術階段識別分支，用于將手術階段識別任務建模為多類別分類任務，使用SoftMax函數計算得到手術階段的預測結果，同時使用CE損失函數計算該分支的損失值。

2.根據權利要求1所述的基于多任務學習的手術工具和手術階段識別方法，其特征在于，在步驟1)中，在得到圖片序列數據集之前要進行數據預處理，包括：對原始視頻的幀率進行下采樣，并在輸入網絡之前通過隨機裁剪、中心反轉、洗亂順序的方式對樣本進行數據增強。

3.根據權利要求1所述的基于多任務學習的手術工具和手術階段識別方法，其特征在于，在步驟2)中，Backbone網絡由EfficientNet-b0的前5層組成，負責為特征增強模塊提供128*128、64*64、32*32、16*16、8*8這5種尺寸的特征圖作為后續特征增強模塊的輸入；其中C₃、C₄、C₅用于表示來自EfficientNet-b0第3、4、5層的特征圖，特征圖C₆和C₇分別通過從C₅和C₆進行下采樣獲得，特征圖C₃至C₇的下標統一用n＝3,4,5,6,7表示。

4.根據權利要求1所述的基于多任務學習的手術工具和手術階段識別方法，其特征在于，在步驟3)中，特征增強模塊由雙向特征金字塔構成，用于實現多尺度特征融合功能；雙向特征金字塔對Backbone網絡輸入的多尺度特征圖統一進行上采樣和下采樣，使得高層的特征圖能夠以相同的尺寸與底層特征圖相加，達到信息融合的目的，其融合過程如下公式(1)和(2)：

式中，是第n級的輸入特征，是自頂向下路徑中第n級的中間特征，是自頂向下路徑中第n+1級的中間特征，是自下而上路徑中第n層的輸出特征，是自下而上路徑中第n-1層的輸出特征；ω₁、ω₂、ω′₁、ω′₂、ω′₃是可學習的權重，每個權重的取值范圍均在0到1之間；ε是一個自定義參數，用于避免數值不穩定。

5.根據權利要求1所述的基于多任務學習的手術工具和手術階段識別方法，其特征在于：在步驟4)中，雙頭分類器由一個融合模塊、一個平均池化層、手術工具識別分支和手術階段識別分支組成；特征增強模塊輸出的多尺度增強特征輸入融合模塊中經過深度可分離卷積、BN層和swish激活，得到統一尺寸的融合特征圖；隨后融合特征圖被送入平均池化層中下采樣；手術工具識別分支和手術階段識別分支分別為全連接層分支Tool_FC和Phase_FC，最后兩個全連接層分支Tool_FC和Phase_FC分別用Sigmoid函數和SoftMax函數計算得出手術工具和手術階段的預測結果。