[發明專利]基于掩碼指導特征凈化的非監督視頻目標分割方法

在審

• 申請號: 202110293552.6
• 申請日: 2021-03-18
• 公開（公告）號: CN113283283A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 段立娟;恩擎;王文健;喬元華
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.基于掩碼指導的特征凈化非監督視頻目標分割方法，其特征在于包括訓練和測試兩個階段，

分割網絡訓練階段包括：

步驟1：構造數據集

以視頻幀為輸入，視頻幀對應分割掩碼為訓練目標，構造出訓練視頻對應的目標分割圖像集，其中，構造訓練集的視頻幀和其對應的目標分割標注記為為I^t表示視頻幀RGB圖像，Y^t表示I^t對應的分割標注；

步驟2：提取輸入視頻幀的嵌入特征X和前向預測掩碼S_F；

步驟3：使用掩碼平均池化得到全局目標特征V_FG；

步驟4：通過注意力傳播得到增強嵌入特征

步驟5：嵌入特征X與增強嵌入特征稠密比較并進行凈化重估計，生成凈化重估計掩碼S_B；

步驟6：計算分割損失，更新分割網絡參數

分割網絡實測階段包括：

步驟7：分割網絡訓練完成后，重復步驟2-5，步驟2和步驟5分別得到前向預測掩碼S_F和凈化重估計掩碼S_B，計算兩者平均值，得到最終視頻目標分割結果。

2.根據權利要求1所述的基于掩碼指導的特征凈化非監督視頻目標分割方法，其特征在于：步驟2具體為：

從中選擇一個RGB圖像表示為I，利用編碼器Encoder提取輸入嵌入特征X，表示如下，

X＝Encoder(I)

其中H和W表示輸入圖像的高和寬，c表示嵌入特征的通道數，h和w表示嵌入特征的高和寬；

將嵌入特征X輸入前向預測解碼器D_F生成前向預測掩碼S_F∈[0,1]^1*h*w，表示如下，

S_F＝σ(D_F(X))

其中σ表示sigmoid函數。

3.根據權利要求1所述的基于掩碼指導的特征凈化非監督視頻目標分割方法，其特征在于：步驟3具體為：

對S_F進行雙線性插值操作，獲得與嵌入特征X相同尺寸的大小，記為

使用掩碼平均池化的方法來提取目標特征，公式如下：

其中(i,j)表示空間位置的索引，表示指示函數；在該操作中，分子表示先將嵌入特征X和上采樣后的前向預測掩碼S_FG進行哈達馬乘積操作得到預測前景特征并求和，與此同時背景區域對應的特征都為零；分母表示使用前景區域對應的面積；

最后將得到的目標特征v_F上采樣到和嵌入特征X大小一致，將其看作為全局目標特征V_FG。

4.根據權利要求1所述的基于掩碼指導的特征凈化非監督視頻目標分割方法，其特征在于：步驟4具體為：

首先計算X和V_FG對應的相似性矩陣具體公式如下：

其中V_FGX^T表示X和V_FG的點積操作，c為X和V_FG的通道數，softmax操作規則化每一行，使和為1，用于保留特征的尺度不變形；

使用相似性矩陣將嵌入特征X映射到一個新的全局目標特征表達，即增強嵌入特征公式如下：

5.根據權利要求1所述的基于掩碼指導的特征凈化非監督視頻目標分割方法，其特征在于：步驟5具體為：

將與X所對應的所有空間位置對其后進行拼接，表示如下：

其中，Concat(.)為拼接操作，將X_5C經過卷積層實現稠密比較，得到經過拼接融合后的特征向量X_B，將其看作反饋指導傳播增強特征；

隨后將X_B輸入凈化解碼器D_B生成凈化重估計掩碼S_B∈[0,1]^1*h*w，公式如下：

S_B＝σ(D_B(X_B))

其中σ表示sigmoid函數。

6.根據權利要求1所述的基于掩碼指導的特征凈化非監督視頻目標分割方法，其特征在于：步驟6具體為：

使用通過反向傳播算法更新分割網絡權重，使用二元交叉熵損失函數訓練，具體公式如下：

其中，log(.)為logarithmic函數；T為訓練數據集視頻幀數。