[發明專利]一種基于通道注意力和自監督約束的服裝解析方法及系統

有效

• 申請號: 202110226332.1
• 申請日: 2021-03-01
• 公開（公告）號: CN112927236B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 項欣光;左成婷;張冬
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 杜陽陽

1.一種基于通道注意力和自監督約束的服裝解析方法，其特征在于，所述方法包括：

獲取服裝圖片數據集，所述服裝圖片數據集中包括和各服裝圖片對應的服裝解析圖；

將所述服裝圖片數據集中各所述服裝圖片輸入神經網絡，所述神經網絡包括通道注意力模塊；

基于所述通道注意力模塊，對輸入的所述服裝圖片進行多次圖像特征提取，獲得各所述服裝圖片的輸出特征圖；

基于強監督約束和自監督約束，對所述神經網絡進行迭代訓練，獲得訓練好的神經網絡模型；所述強監督約束為各服裝圖片對應的服裝解析圖對所述輸出特征圖的強監督約束，所述自監督約束為所述神經網絡中各次解碼輸出數據中高層輸出對低層輸出的自監督約束；

將待解析服裝圖片輸入所述訓練好的神經網絡模型中，輸出服裝解析圖；

所述基于所述通道注意力模塊，對輸入的所述服裝圖片進行多次圖像特征提取，獲得各所述服裝圖片的輸出特征圖，具體包括：

將所述圖像特征提取重復7次得到第一編碼輸出數據，I＝ψ_encoder1(A)＝ρ₇(ρ₆(ρ₅(ρ₄(ρ₃(ρ₂(ρ₁(A)))))))，其中I表示第一編碼輸出數據，ψ_encoder1表示所述第一編碼輸出數據的獲取過程，ρ_i′表示第i′次重復，i′∈{1，2，3，4，5，6，7}，A表示所述服裝圖片數據集中所述服裝圖片；

將所述第一編碼輸出數據進行下采樣得到第一下采樣編碼輸出數據；

將所述圖像特征提取重復6次得到第二編碼輸出數據，J＝ψ_encoder2(I′)＝ρ₆(ρ₅(ρ₄(ρ₃(ρ₂(ρ₁(I′))))))，其中J表示第二編碼輸出數據，ψ_encoder2表示所述第二編碼輸出數據的獲取過程，I′表示第一下采樣編碼輸出數據；

將所述第二編碼輸出數據進行下采樣得到第二下采樣編碼輸出數據；

將所述圖像特征提取重復5次得到第三編碼輸出數據，K＝ψ_encoder3(J′)＝ρ₅(ρ₄(ρ₃(ρ₂(ρ₁(J′)))))，其中K表示第三編碼輸出數據，ψ_encoder3表示所述第三編碼輸出數據的獲取過程，J′表示第二下采樣編碼輸出數據；

將所述第三編碼輸出數據進行下采樣得到第三下采樣編碼輸出數據；

將所述圖像特征提取重復4次得到第四編碼輸出數據，L＝ψ_encoder4(K′)＝ρ₄(ρ₃(ρ₂(ρ₁(K′))))，其中L表示第四編碼輸出數據，ψ_encoder4表示所述第四編碼輸出數據的獲取過程，K′表示第三下采樣編碼輸出數據；

將所述第四編碼輸出數據進行下采樣得到第四下采樣編碼輸出數據；

將所述圖像特征提取重復4次得到第五編碼輸出數據，M＝ψ_encoder5(L′)＝ρ₄(ρ₃(ρ₂(ρ₁(L′))))，其中M表示第五編碼輸出數據，ψ_encoder5表示所述第五編碼輸出數據的獲取過程，L′表示第四下采樣編碼輸出數據；

將所述第五編碼輸出數據進行下采樣得到第五下采樣編碼輸出數據；

將所述圖像特征提取重復4次得到第六編碼輸出數據N＝ψ_encoder6(M′)＝ρ₄(ρ₃(ρ₂(ρ₁(M′))))，其中N表示第六編碼輸出數據，ψ_encoder6表示所述第六編碼輸出數據的獲取過程，M′表示第五下采樣編碼輸出數據；

將所述第六編碼輸出數據進行上采樣得到第六上采樣編碼輸出數據；

將所述圖像特征提取重復4次得到第五解碼輸出數據，O＝ψ_decoder5(N′，M)＝ρ₄(ρ₃(ρ₂(ρ₁(concat(N′，M)))))，其中O表示第五解碼輸出數據，ψ_decoder5表示所述第五解碼輸出數據的獲取過程，concat()表示通道融合，N′表示第六上采樣編碼輸出數據；

將所述第五解碼輸出數據進行上采樣得到第五上采樣編碼輸出數據；

將所述圖像特征提取重復4次得到第四解碼輸出數據，P＝ψ_decoder4(O′，L)＝ρ₄(ρ₃(ρ₂(ρ₁(concat(O′，L)))))，其中P表示第四解碼輸出數據，ψ_decoder4表示所述第四解碼輸出數據的獲取過程，O′表示第五上采樣編碼輸出數據；

將所述第四解碼輸出數據進行上采樣得到第四上采樣編碼輸出數據；

將所述圖像特征提取重復5次得到第三解碼輸出數據，Q＝ψ_decoder3(P′，K)＝ρ₅(ρ₄(ρ₃(ρ₂(ρ₁(concat(P′，K))))))，其中Q表示第三解碼輸出數據，ψ_decoder3表示所述第三解碼輸出數據的獲取過程，P′表示第四上采樣編碼輸出數據；

將所述第三解碼輸出數據進行上采樣得到第三上采樣編碼輸出數據；

將所述圖像特征提取重復6次得到第二解碼輸出數據，R＝ψ_decoder2(Q′，J)＝ρ₆(ρ₅(ρ₄(ρ₃(ρ₂(ρ₁(concat(Q′，J)))))))，其中R表示第二解碼輸出數據，ψ_decoder2表示所述第二解碼輸出數據的獲取過程，Q′表示第三上采樣編碼輸出數據；

將所述第二解碼輸出數據進行上采樣得到第二上采樣編碼輸出數據；

將所述圖像特征提取重復7次得到第一解碼輸出數據，S＝ψ_decoder1(R′，I)＝ρ₇(ρ₆(ρ₅(ρ₄(ρ₃(ρ₂(ρ₁(concat(R′，I))))))))，其中S表示第一解碼輸出數據，ψ_decoder1表示所述第一解碼輸出數據的獲取過程，R′表示第二上采樣編碼輸出數據；

將第六編碼輸出數據、第五解碼輸出數據、第四解碼輸出數據、第三解碼輸出數據、第二解碼輸出數據和第一解碼輸出數據均上采樣到與所述服裝圖片相同的尺寸，分別計為第六編碼輸出上采樣數據、第五解碼輸出上采樣數據、第四解碼輸出上采樣數據、第三解碼輸出上采樣數據、第二解碼輸出上采樣數據和第一解碼輸出上采樣數據；

采用通道融合第六編碼輸出上采樣數據、第五解碼輸出上采樣數據、第四解碼輸出上采樣數據、第三解碼輸出上采樣數據、第二解碼輸出上采樣數據和第一解碼輸出上采樣數據，得到融合數據；

采用設定卷積對所述融合數據進行卷積操作，獲得所述服裝圖片的輸出特征圖。