[發明專利]一種基于尺度感知注意力的半監督語義分割方法

在審

• 申請號: 202211432720.6
• 申請日: 2022-11-16
• 公開（公告）號: CN115661463A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 劉新慧;王愷;李濤
• 申請（專利權）人: 南開大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/80;G06V10/82;G06V20/70
• 代理公司: 天津睿勤專利代理事務所(普通合伙) 12225
• 代理人: 孟福成

1.一種基于尺度感知注意力的半監督語義分割方法，其特征在于：包括以下步驟：

步驟1：獲取多目標語義分割數據集，對有像素級標簽數據和無像素級標簽數據進行預處理，將預處理的有像素級標簽數據劃分為訓練集和測試集，對訓練集中的圖片進行擴充；

步驟2：利用擴充后的所述訓練集訓練尺度感知注意力網絡，在交叉熵損失函數的指導下輸出得到分割結果圖，所述尺度感知注意力網絡包含依次連接的編碼器-解碼器結構、多尺度特征連接模塊和尺度注意力模塊；

步驟3：利用步驟2的訓練好的所述尺度感知注意力網絡，獲取訓練集中每張圖像的尺度重要性以及目標分割結果的尺度分布，訓練可信度預測模型，所述可信度預測模型在均方誤差損失函數的指導下輸出得到標簽的可信度；

步驟4：將預處理的無像素級標簽數據輸入步驟2的訓練好的尺度感知注意力網絡，輸出得到每一張無標簽圖像的尺度重要性以及對應的偽標簽；

步驟5：統計無標簽圖像的偽標簽的目標分割結果的尺度分布，并和無標簽圖像的尺度重要性一起輸入所述可信度預測模型，預測得到每張無標簽圖像的偽標簽的可信度；

步驟6：根據預測出的可信度對偽標簽進行篩選，劃分為可靠偽標簽和不可靠偽標簽，可靠偽標簽對應的無標簽圖像構成可靠的偽標簽圖像集，不可靠偽標簽對應的無標簽圖像構成不可靠的偽標簽圖像集；

利用可靠的偽標簽圖像集擴充訓練集，并重新訓練步驟2的訓練好的尺度感知注意力網絡；

不可靠的偽標簽圖像集輸入重新訓練的尺度感知注意力網絡，生成對應的偽標簽，構成可靠的偽標簽數據集；

步驟7：利用可靠的偽標簽數據集再次擴充訓練集，并再次訓練步驟6的重新訓練好的尺度感知注意力網絡，得到最終的尺度感知注意力網絡。

2.如權利要求1所述的基于尺度感知注意力的半監督語義分割方法，其特征在于：在步驟1中，擴充處理包括：將圖片進行旋轉，旋轉角度包括90°、180°和270°，并保存旋轉之后的圖片；將圖片進行上下翻轉和左右翻轉，并保存翻轉之后的圖片。

3.如權利要求1所述的基于尺度感知注意力的半監督語義分割方法，其特征在于：在步驟2中，所述編碼器-解碼器結構的編碼器部分采用骨干網絡EfficientNet-B0。

4.如權利要求1所述的基于尺度感知注意力的半監督語義分割方法，其特征在于：在步驟2中，所述多尺度特征連接模塊將來自解碼器不同層級的特征視為多個尺度的特征并進行連接形成多尺度特征，所述多尺度特征連接模塊使用1×1卷積和相應倍數的上采樣以對來自不同尺度的特征在空間和通道兩個維度上進行對齊。

5.如權利要求1所述的基于尺度感知注意力的半監督語義分割方法，其特征在于：在步驟2中，所述尺度注意力模塊包含一條空間路徑和一條通道路徑，對輸入的多尺度特征在空間和通道兩個維度上進行動態調整，為不同尺度的特征分配不同的權重。