[發明專利]一種基于特征和諧激活的小樣本語義分割方法

有效

• 申請號: 202011139920.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112364870B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 焦建彬;劉冰昊;葉齊祥
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京康思博達知識產權代理事務所(普通合伙) 11426
• 代理人: 潘煒;劉冬梅

本發明公開了一種基于特征和諧激活的小樣本語義分割方法、小樣本語義分割系統及計算機可讀存儲介質，所述方法包括訓練分割模型用以進行語義分割的過程，分割模型訓練過程包括以下步驟：對支撐圖片和查詢圖片進行特征提??；對支撐特征和查詢特征進行融合，獲得中間特征激活圖；對中間特征激活圖進行更新，獲得特征和諧激活圖；對特征和諧激活圖進行語義分割，獲得查詢圖片的分割圖。本發明所公開的基于特征和諧激活的小樣本語義分割方法，在充分保留支撐和查詢特征中細節信息的同時，將查詢特征中的目標類別進行了準確而完整的激活。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于特征和諧激活的小樣本語義分割方法，利用少量帶標注的支撐樣本對無標注的查詢樣本進行語義分割。

背景技術

深度學習在視覺、文字、語音、搜索等領域取得了巨大的進展，很大程度上得益于大量帶標注的數據集。但是，數據集的標注需要耗費大量的人力物力，尤其是語義分割任務，其數據集需要像素級別的稠密標注，成本非常高昂。小樣本學習可以通過學習少量帶標注的數據，快速學習并優化模型，在很大程度上緩解了標注成本的問題。

小樣本語義分割，首先將模型在一定量帶標注的數據上進行特征提取學習，使得模型具有一定的特征表達能力；然后利用支撐集提供的少量圖片，實現對查詢集圖片的準確分割。

目前，主流的小樣本語義分割方法是基于度量學習框架，其主要做法是：將支撐圖像中目標類別特征壓縮為向量，作為目標類別的表征；然后利用此向量與查詢特征空間位置上所有像素進行比對，依據其相似度來進行查詢圖像的分割。

但是，將目標類別特征壓縮為語義向量的做法會丟失很多細節信息，同時，將語義向量和查詢特征比對會導致支撐和查詢特征元素中間交互不充分，使得查詢特征中的目標類別特征不能很好地被激活，從而產生類別錯分，分割不完整的問題。

因此，有必要提供一種小樣本語義分割方法，其能夠充分保留支撐和查詢特征中的細節信息，且能夠將查詢特征中的目標類別進行準確而完整的激活。

發明內容

為了克服上述問題，本發明人進行了銳意研究，提出了一種基于特征和諧激活的小樣本語義分割方法，對少量帶標注的支持圖像和查詢圖像提取特征，利用雙線性特征激活模型和語義傳播模型將支撐特征和查詢特征進行融合，實現對查詢圖的和諧特征激活，并將目標類別準確分割。利用特征和諧激活的方法，在充分保留支撐和查詢特征中細節信息的同時，將查詢特征中的目標類別進行了準確而完整的激活，從而完成了本發明。

具體來說，本發明的目的在于提供以下方面：

第一方面，提供一種基于特征和諧激活的小樣本語義分割方法，所述方法包括訓練分割模型用以進行語義分割的過程，分割模型訓練過程包括以下步驟：

步驟1，對支撐圖片和查詢圖片進行特征提??；

步驟2，對支撐特征和查詢特征進行融合，獲得中間特征激活圖；

步驟3，對中間特征激活圖進行更新，獲得特征和諧激活圖；

步驟4，對特征和諧激活圖進行語義分割，獲得查詢圖片的分割圖。

第二方面，提供一種小樣本語義分割系統，優選用于實施第一方面所述的方法，所述系統包括特征提取單元、特征激活單元、語義傳播單元和分割單元，其中，

特征提取單元，用于支撐圖片和查詢圖片進行特征提??；

特征激活單元，用于引導支撐特征對查詢特征進行激活，獲得中間特征激活圖；

語義傳播單元，用于對中間特征激活圖進行傳播更新，獲得特征和諧激活圖；

分割單元，用于對特征和諧激活圖進行語義分割，獲得查詢圖片的分割圖。