[發明專利]一種基于特征和諧激活的小樣本語義分割方法

有效

• 申請號: 202011139920.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112364870B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 焦建彬;劉冰昊;葉齊祥
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京康思博達知識產權代理事務所(普通合伙) 11426
• 代理人: 潘煒;劉冬梅

1.一種基于特征和諧激活的小樣本語義分割方法，其特征在于，所述方法包括訓練分割模型用以進行語義分割的過程，分割模型訓練過程包括以下步驟：

步驟1，對支撐圖片和查詢圖片進行特征提取；

步驟2，對支撐特征和查詢特征進行融合，獲得中間特征激活圖；

步驟3，對中間特征激活圖進行更新，獲得特征和諧激活圖；

步驟4，對特征和諧激活圖進行語義分割，獲得查詢圖片的分割圖；

步驟2中，利用雙線性特征激活模型將支撐特征和查詢特征進行融合，如下式所示：

其中，A表示激活特征，表示融合張量，其維度為，表示張量和矩陣之間的模乘法，，表示重構后的支撐特征，表示重構后的查詢特征。

2.根據權利要求1所述的小樣本語義分割方法，其特征在于，步驟2中，所述中間特征激活圖的獲得包括以下步驟：

步驟2-1，對支撐特征和查詢特征進行精細語義信息提取；

步驟2-2，對支撐特征和查詢特征進行相似語義信息激活，獲得激活置信圖；

步驟2-3，調整激活置信圖的維度，獲得激活特征，進而得到中間特征激活圖。

3.根據權利要求2所述的小樣本語義分割方法，其特征在于，步驟2-1中，對融合張量進行分解，包括初步分解和再次分解，

按照下式進行初步分解：

其中，表示核心張量，維度為；，，為二維矩陣，維度為；維度為；維度為。

4.根據權利要求3所述的小樣本語義分割方法，其特征在于，按照下式進行再次分解：

其中，表示行向量，表示列向量，L代表的秩。

5.根據權利要求1所述的小樣本語義分割方法，其特征在于，步驟3包括以下子步驟：

步驟3-1，對查詢特征進行編碼，獲得傳播參數；

步驟3-2，根據傳播參數，更新中間特征激活圖，獲得特征和諧激活圖。

6.根據權利要求1所述的小樣本語義分割方法，其特征在于，所述方法還包括測試過程：利用訓練好的小樣本語義分割模型，對未知圖片進行小樣本語義分割；

其中，所述未知圖片是指圖片類別與訓練過程的圖片類別完全不同。

7.一種小樣本語義分割系統，用于實施權利要求1至6之一所述的方法，其特征在于，所述系統包括特征提取單元、特征激活單元、語義傳播單元和分割單元，其中，

特征提取單元，用于對支撐圖片和查詢圖片進行特征提取；

特征激活單元，用于引導支撐特征對查詢特征進行激活，獲得中間特征激活圖；

語義傳播單元，用于對中間特征激活圖進行傳播更新，獲得特征和諧激活圖；

分割單元，用于對特征和諧激活圖進行語義分割，獲得查詢圖片的分割圖。

8.根據權利要求7所述的小樣本語義分割系統，其特征在于，所述特征激活單元包括精細語義信息提取子單元，用于提取支撐特征和查詢特征的精細語義信息；和

相似語義信息激活子單元，用于進行相似語義信息激活。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有小樣本語義分割程序，所述小樣本語義分割程序被處理器執行時實現權利要求1至6之一所述基于特征和諧激活的小樣本語義分割方法。