[發明專利]基于多尺度特征融合的手術器械圖像智能分割方法和系統

在審

• 申請號: 202110791891.7
• 申請日: 2021-07-13
• 公開（公告）號: CN113763386A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 王浩;丁帥;汪家欣;楊善林
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于多尺度特征融合的手術器械圖像智能分割方法，其特征在于，該方法首先構建多尺度特征融合的輕量級網絡架構，所述輕量級網絡架構包括預先訓練的編碼器和解碼器，所述編碼器包括并聯的第一卷積神經子網絡和第二卷積神經子網絡；所述方法包括：

S1、預處理手術器械圖像，獲取高分辨率圖像和低分辨圖像，所述高分辨率圖像的分辨率為所述低分辨率圖像的兩倍；

S2、將所述高分辨率圖像輸入所述第一卷積神經子網絡，獲取對應的各個隱藏層中最后一卷積層輸出的大尺度圖像特征信息；將所述低分辨圖像輸入所述第二卷積神經子網絡，獲取對應的各個隱藏層中最后一卷積層輸出的小尺度圖像特征信息，以及獲取所述第二卷積神經子網絡輸出的最終圖像特征信息；

S3、采用級聯方式對維度大小相同的所述大尺度圖像特征信息和小尺度圖像特征信息進行融合，獲取不同維度大小的融合特征信息；

S4、將所述最終圖像特征信息輸入所述解碼器的第一個解碼單元，以及將各個所述融合特征信息跳層連接至所述解碼器的各個解碼單元執行上采樣操作，獲取手術器械圖像智能分割結果。

2.如權利要求1所述的基于多尺度特征融合的手術器械圖像智能分割方法，其特征在于，所述S1中采用雙線性二插法將所述高分辨率圖像裁剪得到所述低分辨率圖像。

3.如權利要求1所述的基于多尺度特征融合的手術器械圖像智能分割方法，其特征在于，

所述S2中第一卷積神經子網絡的結構包括：

第一輸入層，卷積層Conv1、Conv2、最大池化層pool1，卷積層Conv3、Conv4、最大池化層pool2，卷積層Conv5、Conv6、Conv7、最大池化層pool3，卷積層Conv8、Conv9、Conv10、最大池化層pool4；

第二卷積神經子網絡的結構包括：

第二輸入層，與所述第一卷積神經子網絡參數相同但不共享權重的卷積層Conv5、Conv6、Conv7、最大池化層pool3、卷積層Conv8、Conv9、Conv10、最大池化層pool4，卷積層Conv11、Conv12、Conv13、最大池化層pool5，全連接層。

4.如權利要求3所述的基于多尺度特征融合的手術器械圖像智能分割方法，其特征在于，所述S3具體包括：

S31、采用卷積核大小為3*3的卷積操作對各個所述大尺度圖像特征信息進行降維操作，獲取與對應的所述小尺度圖像特征信息維度相同的轉化圖像特征信息；

其中，表示第一卷積神經子網絡對應的第i個隱藏層中最后一卷積層對應的轉化圖像特征信息；ReLU表示激活函數；w表示3*3的卷積操作的權重；b表示3*3的卷積操作的偏置；表示第一卷積神經子網絡第i個隱藏層中最后一卷積層輸出的大尺度圖像特征信息；

S32、采用級聯方式將維度大小相同的所述大尺度圖像特征信息和小尺度圖像特征信息進行融合，獲取不同維度大小的融合特征信息

其中，表示不同維度大小的融合特征信息；表示第二卷積神經子網絡對應的第i-1個隱藏層中最后一卷積層輸出的小尺度圖像特征信息。

5.如權利要求1任一項所述的基于多尺度特征融合的手術器械圖像智能分割方法，其特征在于，所述S4中上采樣操作采用轉置卷積實現。

6.如權利要求1任一項所述的基于多尺度特征融合的手術器械圖像智能分割方法，其特征在于，所述S4中獲取手術器械圖像智能分割結果具體包括：

將所述解碼器的最后一個解碼單元輸出的圖像特征信息，輸入所述解碼器的softmax函數層進行歸一化處理，獲取手術背景、手術器械關節以及手術器械種類對應類別的概率值，將概率值最大的類別作為最終的手術器械圖像智能分割結果。