[發明專利]一種基于分散注意力網絡的小樣本下語義分割方法

有效

• 申請號: 202010601796.1
• 申請日: 2020-06-28
• 公開（公告）號: CN111860517B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 張磊;李欣;甄先通;常峰貴;簡治平;左利云;胥亮;李鎮昌
• 申請（專利權）人: 廣東石油化工學院;山東硅步機器人技術有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06V10/26;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 北京久維律師事務所 11582
• 代理人: 邢江峰

1.一種基于分散注意力網絡的小樣本下語義分割方法，包括：訓練數據集、深度神經網絡、框架參數Φ、支持圖像和支持圖像的目標標注mask圖像，所述訓練數據集包括每個圖像都有分割標注的mask圖像，所述深度神經網絡采用resnet101網絡結構和在ImageNet上訓練得到的參數，所述框架參數Φ為獲取k和v的卷積層參數以及解碼器中卷積層參數，其特征在于：其語義分割學習過程包括以下步驟：

S1、對訓練數據集所有任務，隨機抽取一個圖像以及其標注作為待分割圖像，其余圖像作為支持圖像集；

S2、對k和v的卷積層參數以及解碼器中卷積層參數，即Φ隨機初始化；

S3、利用resnet101網絡，對待分割圖像和支持圖像生成三層的特征表示resnet101網絡第1、2個塊輸出為l＝1層，第三個塊輸出為l＝2層，第4個塊輸出為l＝3層；

S4、對每一個l，從1到3，做以下操作:

S4.1、對和用兩個卷積層生成對應的關鍵字和值對，分別為{k^q_l，v^q_l}和{k^s_l，v^s_l}；

S4.2、計算A矩陣，其中元素：

其中i查詢圖像中像素點索引和j表示支持圖像中的像素點索引，g(·，·)表示建立分割圖像和支持圖像之間關聯的函數；

S4.3、對A矩陣按照行求均值，生成A^s；

S4.4、對A^s中像素降序排列，得到像素j對應的位置e_j；

S4.5、將A^s中像素j的權重按照如下公式調整：

其中H和W為支持圖像注意力圖A^s的高和寬，e_j表示像素j在排序中的索引位置，表示為支持圖像注意力圖中第j個像素，表示建立和e_j之間的關系函數；S4.6、重構A矩陣為其中每個元素如下：

S4.7、將經過softmax層歸一化如下：

S4.8、對于第i個位置，按照如下方式生成分散注意力映射:

其中||表示串接操作，表示分割圖像l層i像素點上生成的關鍵字和值對中的值，表示支持圖像l層j像素點上生成的關鍵字和值對中的值；

S4.9、重復S4.1到l＝3；

S5、將第3層的分散注意力映射經過雙線性上采樣，經過一個殘差模塊將其和第2層的分散注意力映射產生的注意力特征串接，串接之后的結果在經過雙線性上采樣，經過一個殘差模塊將其和的注意力特征串接，經過一個卷積層，得到稠密表示,則將分別生成各層的分散注意力映射

S6、稠密表示經過softmax層，對每一個像素點得到最后分割結果，前景還是背景；

S7、和真實分割mask圖像對比，計算交叉熵，將交叉熵對Φ求梯度；

S8、更新Φ；

S9、循環回S1，至收斂。