[發明專利]內窺鏡儀器分割方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202011492855.2
• 申請日: 2020-12-17
• 公開（公告）號: CN112613517B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 岳廣輝;韓婉婉;周天薇;李思瑩;李苑;汪天富
• 申請（專利權）人: 深圳大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06K9/62;G06N3/04;G06T5/50
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 武志峰

1.一種內窺鏡儀器分割方法，其特征在于，包括：

將內窺鏡樣本圖像X輸入第一網絡，對所述內窺鏡樣本圖像X進行第一卷積處理獲得包含低層語義特征的第一低層特征圖，對所述第一低層特征圖進行第二卷積處理獲得包含高層語義特征的多個第一高層特征圖，通過第一平行部分解碼器將多個所述第一高層特征圖融合獲得第一網絡的初步全局特征圖F₁，對多個所述第一高層特征圖分別進行注意力機制處理得到多個注意力特征圖，將所述初步全局特征圖F₁作為全局指導信號依次反向與多個所述注意力特征圖相結合得到多個增強特征圖，輸出第一網絡的預測特征圖F’；

將多個所述增強特征圖分別與所述內窺鏡樣本圖像X相乘得到多個中間特征圖，再將所述內窺鏡樣本圖像X與多個所述中間特征圖相加取平均值，得到待處理特征圖；

將所述待處理特征圖輸入至第二網絡，對所述待處理特征圖進行第三卷積處理獲得包含低層語義特征的第二低層特征圖，對所述第二低層特征圖進行第四卷積處理獲得包含高層語義特征的多個第二高層特征圖，通過第二平行部分解碼器將多個所述第二高層特征圖融合獲得第二網絡的最終全局特征圖F₂，并將最終全局特征圖F₂作為內窺鏡儀器分割模型的最終輸出結果；

利用損失函數對所述內窺鏡儀器分割模型進行優化，并利用優化后的內窺鏡儀器分割模型對內窺鏡測試圖像進行識別，所述損失函數包括有監督損失函數和無監督損失函數，分別對有標簽數據和無標簽數據監督。

2.根據權利要求1所述的內窺鏡儀器分割方法，其特征在于，所述將內窺鏡樣本圖像X輸入第一網絡，對所述內窺鏡樣本圖像X進行第一卷積處理獲得包含低層語義特征的第一低層特征圖，對所述第一低層特征圖進行第二卷積處理獲得包含高層語義特征的多個第一高層特征圖，通過第一平行部分解碼器將多個所述第一高層特征圖融合獲得第一網絡的初步全局特征圖F₁，對多個所述第一高層特征圖分別進行注意力機制處理得到多個注意力特征圖，將所述初步全局特征圖F₁作為全局指導信號依次反向與多個所述注意力特征圖相結合得到多個增強特征圖，輸出第一網絡的預測特征圖F’，包括：

將內窺鏡樣本圖像X輸入第一網絡，先通過2層第一卷積層依次對所述內窺鏡樣本圖像X進行第一卷積處理，輸出得到包含低層語義特征的第一低層特征圖；

通過3層第二卷積層依次對所述第一低層特征圖進行第二卷積處理，得到包含高層語義特征的3個第一高層特征圖；

通過第一平行部分解碼器對3個所述第一高層特征圖以平行連接的方式進行聚合，得到初步全局特征圖F₁；

按順序分別對所述3個第一高層特征圖進行注意力機制處理，得到對應的第一注意力特征圖、第二注意力特征圖和第三注意力特征圖；

將所述初步全局特征圖F₁作為全局指導信號依次反向與第三注意力特征圖、第二注意力特征圖和第一注意力特征圖相結合，分別得到第三增強特征圖F’_L5、第二增強特征圖F’_L4和第一增強特征圖F’_L3，并將所述第一增強特征圖F’_L3作為第一網絡的預測特征圖F’。

3.根據權利要求2所述的內窺鏡儀器分割方法，其特征在于，所述將多個所述增強特征圖分別與所述內窺鏡樣本圖像X相乘得到多個中間特征圖，再將所述內窺鏡樣本圖像X與多個所述中間特征圖相加取平均值，得到待處理特征圖，包括：

將所述第一增強特征圖F’_L3、第二增強特征圖F’_L4和第三增強特征圖F’_L5分別與所述內窺鏡樣本圖像X相乘得到對應的第一中間特征圖I₁、第二中間特征圖I₂和第三中間特征圖I₃；

將所述內窺鏡樣本圖像、所述第一中間特征圖I₁、第二中間特征圖I₂和第三中間特征圖I₃相加并取平均值，得到待處理特征圖。