[發明專利]基于注意力機制的one-shot圖像分割方法

有效

• 申請號: 201910867163.2
• 申請日: 2019-09-12
• 公開（公告）號: CN110675405B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 孟凡滿;鮑俊玲;黃開旭;李宏亮;吳慶波
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄒裕蓉

本發明提供一種基于注意力機制的one?shot圖像分割方法。在單個特征和簡單的雙分支融合不足以使查詢分支從支持分支中提取有用信息的情況下。本發明為了支持分支關注于兩個分支共性的區域，以便準確地引導查詢分支分割圖像，將多級上下文特征和注意模塊引入到one?shot圖像分割中找到更準確有效的指導方法。本發明能更好地利用現有的知識迅速對新類圖像進行分割，利用多級指導和注意力機制來強化學習兩個分支的共性，進而準確地指導未知圖像的分割。

技術領域

本發明涉及圖像分割技術，特別涉及one-shot圖像分割技術。

技術背景

圖像分割是圖像分析和理解的關鍵步驟，旨在對圖像中每個像素進行分類。此外，圖像分割技術在輔助駕駛、醫學影像分析、目標識別、圖像理解等領域有著廣泛的應用。因此，研究圖像分割方法對計算機視覺的發展具有深刻的意義。

近年來，圖像分割、目標檢測和圖像分類的快速發展離不開深度神經網絡，但其性能的顯著提升嚴重依賴于耗時耗力的人工標注。然而，通過利用大量手工標注來訓練分割模型很難適應實際應用的需求。此外，將已經訓練好的分割模型直接分割未知類別的圖像是很困難的。于是，few-shot分割方法被提出來，該方法旨在通過利用未知類別極少量標注圖像的有效指導，分割該類別的其他圖像。

Few-shot圖像分割方法自2017年提出至今，所提出的方法基本上都是兩分支的網絡結構，其中一個分支(支持分支)采用標注的圖像(支持圖像)，另一個分支(查詢分支)分割未知圖像(查詢圖像)。支持分支試圖學習一種指導方式來指導查詢分支分割兩分支圖像相同的目標類。現有的指導方法大概可以分成兩種，一種是利用支持分支的特征，將支持分支的特征和查詢分支的特征合并或相加，作為查詢分支的特征；另一種是利用支持分支學習一組網絡參數用于查詢分支。Few-shot圖像分割通常有one-shot和five-shot兩種。one-shot是指支持分支利用一張帶標注的圖像指導查詢分支，five-shot是指支持分支利用五張帶標注的圖像指導查詢分支。

因此，對于few-shot圖像分割，最重要的是找到一種準確有效的指導方法。然而，從極少量的標注圖像中尋求一種準確的指導很難，已經存在的few-shot分割方法存在一些缺點：1)簡單的合并和相加運算不足以有效地指導未知圖像以獲得準確的分割結果。2)上述大多數方法只考慮單個輸出(通常是已知圖像網絡最后一層的特征或某一層的參數)進行引導，該指導沒有更多地關注上下文特征。

發明內容

本發明所要解決的技術問題是，提供一種新的one-shot分割方法，在繼續沿用兩分支的網絡結構的基礎上，利用多級指導和注意力機制，充分利用支持圖像所提供的信息且重點關注兩分支共性的區域。

本發明為解決上述技術問題所采用的技術方案是，針對目前利用最后一層特征來監督指導沒有充分利用標注圖像所提供的信息，本發明利用多級特征進行指導；為了使得指導更多的關注于兩分支共性的區域，將注意力機制引入。基于注意力機制的one-shot圖像分割方法，包括以下步驟：

1)構建基于注意力機制的兩分支one-shot圖像分割網絡：

支持分支由N層特征提取塊串聯而成；

查詢分支包括N層特征提取塊以及M個注意力模塊，M小于N；第1層特征提取塊輸出至第2層特征提取塊，第2層至第N層特征提取塊中不需要進行注意力指導的特征提取塊直接輸出至下一層特征提取塊，需要進行注意力指導的特征提取塊的輸出至對應的注意力模塊；第1至第M-1個注意力模塊的兩個輸入分別來自于查詢分支中對應需要進行注意力指導的特征提取塊的輸出以及支持分支中同層特征提取塊的輸出；第1至第M-1個注意力模塊分別輸出至對應需要進行注意力指導的特征提取塊的下一層特征提取塊；支持分支最后一層特征提取塊與查詢分支最后一層特征提取塊均輸出至第M個注意力模塊；

第M個注意力模塊輸出至反卷積模塊；

2)構建訓練集；