[發(fā)明專利]基于輕量級多尺度特征增強網(wǎng)絡的小樣本圖像分割方法

在審

• 申請?zhí)枺?/td>: 202211475679.0
• 申請日: 2022-11-23
• 公開（公告）號: CN115908806A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設計）人: 李群;孫寶泉;肖甫;盛碧云;沙樂天
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/764;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/084
• 代理公司: 南京正聯(lián)知識產權代理有限公司 32243
• 代理人: 姜夢翔

1.基于輕量級多尺度特征增強網(wǎng)絡的小樣本圖像分割方法，其特征在于：所述方法包括如下步驟：

步驟1，獲取用于小樣本圖像分割的數(shù)據(jù)集，劃分為訓練集和測試集，其中為每次訓練或測試隨機選取樣本對，每個樣本對包括一個支持集和一個查詢集，查詢集包含1個查詢樣本，支持集包含K個帶有注釋的支持樣本；所有樣本以及掩膜標簽經過統(tǒng)一的數(shù)據(jù)預處理；

步驟2，使用預訓練的骨干網(wǎng)絡提取支持樣本和查詢樣本的特征，并使用支持樣本的高級特征與查詢樣本的高級特征進行余弦相似度計算，得到查詢樣本的先驗掩膜

步驟3，利用支持樣本標簽與中級支持特征，通過掩碼平均池化操作提取出支持原型特征向量，并將此一維特征向量膨脹到同先驗掩膜同等空間大小，得到

步驟4，構建輕量級多尺度特征增強網(wǎng)絡Lite-FENet，以支持原型特征P_s、中級查詢特征F_q和先驗掩碼為輸入，輸出不同空間分辨率的特征圖，并進行拼接和信息融合；

步驟5，利用步驟1構建的訓練數(shù)據(jù)集合，對步驟2～4所構建的Lite-FENet網(wǎng)絡進行訓練，根據(jù)主損失L_main和輔助損失L_aux計算模型總損失L，進行反向傳播優(yōu)化模型參數(shù)；訓練過程中骨干網(wǎng)絡參數(shù)不進行更新；

步驟6，加載步驟5訓練得到的Lite-FENet網(wǎng)絡模型，在步驟1構建的測試數(shù)據(jù)集合上評估驗證模型；

步驟7，完成評估驗證后，使用Lite-FENet網(wǎng)絡模型對待分割的小樣本圖像進行處理，輸出分割結果。

2.根據(jù)權利要求1所述的基于輕量級多尺度特征增強網(wǎng)絡的小樣本圖像分割方法，其特征在于：步驟4中，輕量級多尺度特征增強網(wǎng)絡Lite-FENet在第1階段將原型特征P_s、中級查詢特征F_q和先驗掩碼在通道維度上拼接，使用1×1卷積融合各通道信息后，在通道維度降維，并以該分支作為最高分辨率分支：

其中，ReLU()表示ReLU非線性激活函數(shù)，Conv_1×1()表示1×1卷積操作，Concat()表示在通道維度進行拼接；

此后，在每個階段的開始，通過兩倍下采樣上一階段的最低分辨率特征圖，產生新的更低分辨率的特征圖，以該特征圖開始新的分支；

在下一階段，以上一階段輸出的特征圖和新生成的最低分辨率特征圖作為輸入，并行經過空間交互模塊SIM；其中，上標n表示第n階段，下標{1,2,...,n}表示第n階段中的分支索引，1表示最高分辨率分支；空間交互模塊對相鄰尺度以自上到下的方式傳遞更多信息到低分辨率特征產生該尺度下的細化特征圖；在最后階段，Lite-FENet輸出4種不同空間分辨率的特征圖。

3.根據(jù)權利要求2所述的基于輕量級多尺度特征增強網(wǎng)絡的小樣本圖像分割方法，其特征在于：輕量級多尺度特征增強網(wǎng)絡Lite-FENet中，特征圖的各分辨率之間的倍數(shù)關系為

4.根據(jù)權利要求2所述的基于輕量級多尺度特征增強網(wǎng)絡的小樣本圖像分割方法，其特征在于：所述空間交互模塊包含兩個跳躍連接；在第一個跳躍連接，接收當前階段相鄰的較高分辨率分支輸出的細化特征圖和輸入到當前分支的特征圖，先將較高分辨率的特征圖的空間大小調整到和較小分辨率特征圖的空間大小相同，經過特征拼接和一個1×1卷積，隨后和輸入的較低分辨率特征圖進行元素級相加操作；第二個跳躍連接，由一個步長為1的3×3深度卷積、兩個1×1卷積、一個步長為1的3×3深度卷積的順序構成，并且每次卷積之后都接一個批歸一化層，在第一次和第三次卷積的批歸一化層之后再使用ReLU激活函數(shù)激活，最后輸出再與輸入的特征圖在元素級相加。

5.根據(jù)權利要求4所述的基于輕量級多尺度特征增強網(wǎng)絡的小樣本圖像分割方法，其特征在于：空間交互模塊SIM在輸入前和輸出后的通道數(shù)和空間分辨率保持相同。