[發明專利]一種基于注意力的聯合圖像與特征自適應的語義分割方法

有效

• 申請號: 202110452783.7
• 申請日: 2021-04-26
• 公開（公告）號: CN113205096B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 杜博;劉菊華;鐘起煌;肖李方安
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明公開了一種基于注意力的聯合圖像與特征自適應的語義分割方法，首先利用圖像自適應器將源域圖像X_s轉換為與目標域圖像X_t相近的類目標域圖像X_s?t，從圖像外觀層面縮小源域和目標域之間的領域差異；然后利用特征自適應器分別從語義預測空間和圖像生成空間對齊X_s?t和X_t之間的特征，以捕獲到領域不變特征，以縮小X_s?t和X_t之間的領域差異。另外本發明在特征自適應器中引入了一個注意力模塊，以幫助特征自適應模塊重點關注值得關注的圖像區域。最后，使用端到端的方式將圖像自適應器和特征自適應器協同融合在一起。本發明有效解決了跨模態圖像語義分割中存在的領域差異問題，提升了語義分割模型的性能，在多個公開數據集中實現了最優的效果。

技術領域

本發明屬于自然場景圖像語義分割技術領域，具體涉及一種基于注意力的聯合圖像與特征自適應的語義分割方法。

背景技術

隨著深度學習技術的提出和快速發展，基于深度學習的圖像語義分割方法已越發成熟。然而由于對圖像進行像素級標注需要一定的專業知識和極高的勞動成本，導致難以獲得具有充足標注樣本的圖像語義分割數據集，從而極大程度上限制了語義分割模型的性能。目前，業界處理這一問題的主要方法是跨模態訓練策略。具體來說，考慮到圖像有多種成像方式，不同成像方式得到的不同模態影像之間的樣本數量和標注難度不同，例如醫學領域中MRI(磁共振成像)影像的標注難度低于CT(計算機斷層掃描)影像，能得到的MRI標注樣本數量明顯多于CT標注樣本。因此，跨模態語義分割首先在標注樣本豐富的源模態數據集(源域)上進行預訓練，然后使用該預訓練模型對標注樣本稀缺的目標模態數據集(目標域)進行語義分割，得到像素級的分割結果。然而，由于源域和目標域之間存在著嚴重的領域差異，導致在源域上預訓練得到的影像分割模型難以在目標域上取得理想效果。

為解決上述跨模態語義分割中存在的領域差異問題，業界主要通過兩方面進行處理：圖像自適應和特征自適應。圖像自適應方法通過消除源域圖像和目標域圖像的圖像外觀差異，來縮小源域和目標域之間的領域差異。具體來說，圖像自適應方法首先在源域數據集上訓練得到圖像分割模型，然后通過圖像轉換方法將未標記的目標域數據集轉換為類源域數據集，最后使用先前訓練的圖像分割模型對轉換后的類源域數據集進行圖像分割。與圖像自適應方法不同，特征自適應方法通過對齊源域和目標域之間的特征空間，得到領域不變特征，從而在特征層面縮小領域差異。目前大多數方法要么基于圖像自適應，要么基于特征自適應，而忽略了二者之間的協同作用。此外，雖然有少數方法嘗試將這兩種自適應結合在一起，但是他們只是將二者簡單的串聯在一起，并沒有充分發揮它們的作用。

發明內容

有鑒于此，本發明的目的在于提供一種基于注意力的聯合圖像與特征自適應的語義分割方法。該方法采用圖像自適應器和特征自適應器分別從圖像外觀和特征空間兩方面逐步縮小源域圖像和目標域圖像的領域差異，并在特征自適應器中引入注意力模塊，使其能夠捕獲重要區域的關鍵特征，最后使用端到端的方式將圖像自適應器與特征自適應連接在一起，以充分發揮二者的協同作用。該方法能夠有效地緩解跨模態語義分割中存在的領域差異問題，從而有效提升圖像語義分割模型性能。

為了實現上述發明目的，本發明所采用的技術方案是：一種基于注意力的聯合圖像與特征自適應的語義分割方法，包括以下步驟：

步驟(1)，利用圖像自適應器對源域圖像進行圖像風格轉換，在不改變圖像內容的前提下，將源域圖像轉換為與目標域圖像外觀相似的類目標圖像；

步驟(2)，使用特征自適應器分別在語義預測空間和圖像生成空間中對齊類目標圖像和目標圖像之間的特征，以提取到領域不變特征；

步驟(3)，在特征自適應器中引入注意力模塊，所述注意力模塊由池化層、上采樣層、卷積層和Sigmoid激活層組成；