[發明專利]一種基于雙重注意力融合的圖像分割方法

在審

• 申請號: 202211633594.0
• 申請日: 2022-12-19
• 公開（公告）號: CN116012581A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 袁非牛;湯照達
• 申請（專利權）人: 上海師范大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/82;G06V10/774;G06V10/80;G06N3/045;G06N3/0464;G06N3/09
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 姜曉艷

本發明公開了一種基于雙重注意力融合的圖像分割方法，先根據目標任務構造數據集；再構建分割網絡模型，并將數據集中的圖像樣本輸入構建好的分割網絡模型中進行訓練，該分割網絡模型采用U型結構，包括編碼模塊、雙重注意力門控融合模塊和解碼模塊，其中編碼模塊用于對輸入圖像進行編碼，獲取初始特征圖；雙重注意力門控融合模塊包括多尺度加權通道注意力分支和全局空間自注意力分支，并通過門控機制模塊將兩個分支提取到的特征進行融合而成，用于獲取最終特征圖；解碼模塊用于對最終特征圖進行解碼，獲取分割后的圖像；最后將待分割的圖像數據輸入到訓練好的分割網絡模型中，得到目標圖像的高精度分割結果。

技術領域

本發明屬于圖像處理的技術領域，具體涉及一種基于雙重注意力融合的圖像分割方法。

背景技術

醫學圖像在診斷疾病方面起到了非常關鍵的作用。用人工方法從醫學圖像中精確分割器官是非常困難和耗時的，人工方法也深深依賴于個人經驗。現代圖像處理和人工智能(AI)的快速發展為醫生提供了更多關于病變的關鍵信息，人工智能技術正在提高疾病診斷的準確性，并減少診斷時間，從醫學圖像中準確分割特定器官是一項具有挑戰性的工作，這對臨床診斷非常重要。

近年來，基于深度學習進行醫學圖像分割的研究有了一定的突破，但從醫學圖像中分割多個器官有很大的困難，困難來自以下方面：第一，人體有多個器官被擠壓在狹小的空間里，導致不同人的同一器官有很大的形變，例如，腹部的結腸和胰腺在不同的人身上有非常不同的形狀外觀；第二，是現有的掃描儀的掃描質量有限，導致邊界模糊、對比度低和噪音大，在腹部CT切片中，胰腺頭部和十二指腸之間通常有模糊的邊界，導致分割精度有限；第三，人體器官在醫學圖像中具有不同的尺寸和形狀，因此我們需要更多的從不同維度提取的抽象特征和高層次的特征來提取圖像語義信息。

現有的方法大多是基于卷積神經網絡的圖像分割算法，通過在基礎分割框架中加入新的模塊來提高網絡的特征提取能力從而得到更高精度的分割結果，但基于卷積神經網絡的方法擅長于捕獲局部特征中的細節信息，對于圖像全局的遠距離關系建模能力不足，自Transformer自注意力算法在自然語言處理領域被提出，已被人廣泛應用于計算機視覺領域，并取得了比較好的效果，但是如何利用好卷積和Transformer的各自優勢，還是一個很值得探索的課題。

發明內容

本發明提供了一種基于雙重注意力融合的圖像分割方法，提出的雙重注意力門控融合的割網絡模型，采用編-解碼結構，在模型底部加入了雙重注意力門控融合模塊，很大程度上提高了模型的特征提取能力，并在網絡最后直接輸出圖像的高精度分割結果，大大提高了自動分割的準確度，解決現有方法分割精度不高、分割效果較差等技術問題。

本發明可通過以下技術方案實現：

一種基于雙重注意力融合的圖像分割方法，包括以下步驟：

S1、根據目標任務構造數據集，所述數據集包括對特定目標進行像素級標注的多個圖像樣本；

S2、構建分割網絡模型，并將數據集中的圖像樣本輸入構建好的分割網絡模型中進行訓練，

所述分割網絡模型采用U型結構，包括編碼模塊、雙重注意力門控融合模塊和解碼模塊，其中，所述編碼模塊用于對輸入圖像進行編碼，獲取初始特征圖；所述雙重注意力門控融合模塊包括基于CNN的多尺度加權通道注意力分支和基于Transformer的全局空間自注意力分支，并通過門控機制模塊將兩個分支提取到的特征進行融合而成，用于獲取最終特征圖；所述解碼模塊用于對最終特征圖進行解碼，獲取分割后的圖像；

所述多尺度加權通道注意力分支用于提取類間響應特征，以提高分類精度，獲取多尺度特征圖，所述全局空間自注意力分支用于提取長距離的依賴性特征，以提高定位精度，獲取全局特征圖；

S3、將待分割的圖像數據輸入到訓練好的分割網絡模型中，得到目標圖像的高精度分割結果。