[發明專利]內窺鏡儀器分割方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202011492855.2
• 申請日: 2020-12-17
• 公開（公告）號: CN112613517B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 岳廣輝;韓婉婉;周天薇;李思瑩;李苑;汪天富
• 申請（專利權）人: 深圳大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06K9/62;G06N3/04;G06T5/50
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 武志峰

本發明公開內窺鏡儀器分割方法、裝置、計算機設備及存儲介質，方法包括：將內窺鏡樣本圖像X輸入第一網絡，獲得第一網絡的初步全局特征圖F₁，將多個注意力特征圖分別與所述內窺鏡樣本圖像X相乘得到多個中間特征圖，再將所述內窺鏡樣本圖像X與多個所述中間特征圖相加取平均值，得到待處理特征圖；將所述待處理特征圖輸入至第二網絡，獲得第二網絡的最終全局特征圖F₂，并將最終全局特征圖F₂作為內窺鏡儀器分割模型的最終輸出結果；利用損失函數對所述內窺鏡儀器分割模型進行優化，并利用優化后的內窺鏡儀器分割模型對內窺鏡測試圖像進行識別。本發明僅需少量標注數據，提高了提取邊緣特征的能力，實現精準分割的目的。

技術領域

本發明涉及圖像處理技術領域，特別涉及內窺鏡儀器分割方法、裝置、計算機設備及存儲介質。

背景技術

在諸多癌癥中，大腸癌是全球發病率第三和死亡率第二高的癌癥，成為威脅人類生命安全的主要殺手之一。調查結果進一步表明，結直腸炎癥、血管病變、息肉等大腸疾病是大腸癌早期的常見病癥。因此，上述疾病的早期篩查對大腸癌的預防至關重要。在臨床工作中，由于微創手術具有創傷小、疼痛輕、恢復速度快的優點，被廣泛應用于腸胃疾病的篩查治療。

微創手術依賴于內窺鏡儀器的輔助，有利于醫生直觀地觀察病灶的形態特征，被認為是大腸疾病篩查的金標準。大量臨床觀察發現，受拍攝角度、內窺鏡醫師經驗和復雜的人體組織影響，內窺鏡儀器容易遮擋病變區域，造成疾病的誤診漏診等情況。采用內窺鏡儀器分割技術將儀器分割可為研究人員提供必要的區域信息，以便后續疾病診斷、數據分析等工作的開展。比如，將分割出的儀器移除并結合圖像修復技術將相應區域重塑，進而輔助臨床醫師進行數據分析工作。未來還可應用于手術機器人的信息反饋系統，進行儀器的追蹤和姿態估計等。因此，確定儀器位置并分割具有重要的臨床意義。

目前針對大腸內窺鏡儀器分割的研究很少，現有的醫學圖像分割技術大多在自然場景的分割方法的基礎上進行改進。例如，Long等人提出可適應任意尺寸輸入的全卷積神經網絡(Fully Convolutional Networks,FCN)，在網絡中設計反卷積操作，基于像素級的分類實現對圖像的分割。Ronneberger等人從encoder-decoder框架入手，通過跳躍連接的方式將原始圖像和上采樣的特征圖拼接，并將拼接后的特征圖作為下一個上采樣的特征，提出了適用于醫學圖像分割的U-Net網絡。Xue等人將生成對抗網絡(GenerativeAdversarial Networks,GAN)引入醫學圖像分割領域，首先利用生成器生成分割圖，再應用判別器判斷分割標簽的真偽，通過迭代優化實現精準的分割任務。但這些深度學習網絡依賴大量的有標注數據，不適用于標注困難的醫學圖像。

近幾年，有研究學者提出將圖像分割技術應用于手術機器人的實時儀器追蹤定位系統，比如，Shvets等人將LinkNet和TernausNet模型分別修改為LinkNet-34和TernausNet-16用于儀器分割，其中TernausNet-16的的準確率更高。Islam等人提出了一種多分辨率特征融合模塊的實時儀器分割模型，將主分支給出的兩張高分辨率和低分辨率特征圖進行融合。實驗表明，該多分辨率方法的性能優于PSPNet和ICNet等通用語義分割模型。但這些儀器分割技術應用場景更偏向于手術機器人對儀器的智能定位，大腸疾病篩查并未涉及，且不能解決標注樣本數據不足的問題。鑒于此，基于半監督學習的網絡模型(如Mean-teachers算法)受到越來越多的歡迎，可有效地應對數據樣本不足的問題且力爭獲得較好的分割性能。但由于此類模型對數據加噪，圖像信息容易遭到破壞，不利于醫學圖像中目標區域精細的邊緣特征提取。

發明內容

本發明的目的是提供內窺鏡儀器分割方法、裝置、計算機設備及存儲介質，旨在解決現有分割方法要求高、準確性有待提高的問題。

第一方面，本發明實施例提供一種內窺鏡儀器分割方法，其中，包括：