[發明專利]基于交叉融合網絡的服裝語義分割方法

在審

• 申請號: 202110368207.4
• 申請日: 2021-04-06
• 公開（公告）號: CN113192073A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 周武杰;徐高;葉綠;雷景生;萬健;甘興利;錢小鴻;許彩娥;強芳芳
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T9/00;G06K9/62;G06N3/04;G06N3/08;G06T3/40;G06T5/50
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于交叉融合網絡的服裝語義分割方法。本發明包括訓練階段和測試階段兩個過程；訓練階段：1_1選取Q幅原始服裝場景圖像及對應的深度圖像和真實語義分割圖像，并構成訓練集；1_2構建卷積神經網絡；1_3將訓練集進行數據增強，獲得初始輸入圖像，將初始輸入圖像輸入到卷積神經網絡中進行訓練，得到對應的語義分割預測圖；1_4計算語義分割預測圖與對應的真實語義分割圖像之間的損失函數值；1_5重復執行1_3和1_4，獲得卷積神經網絡分類訓練模型；測試階段：2將待語義分割的服裝場景圖像和對應的深度圖像輸入到卷積神經網絡分類訓練模型中，獲得對應的預測語義分割圖像。本發明提高了RGB?D服裝圖像的語義分割效率和準確度。

技術領域

本發明涉及了一種深度學習的語義分割方法，尤其是涉及一種基于交叉融合網絡的服裝語義分割方法。

背景技術

人工智能領域的迅速發展，使得語義分割在服裝領域中有著越來越多的應用，從服裝解析和自動產品標簽到虛擬試衣都可借由語義分割技術實現。目前，最常用的語義分割方法包括支持向量機、隨機森林等算法。這些算法主要集中在二分類任務上，用于檢測和識別特定物體，如夾克、裙子等。這些傳統的機器學習方法往往需要通過高復雜度的特征來實現，而使用深度學習來對服裝場景進行語義分割簡單方便，更重要的是，深度學習的應用極大地提高了圖像像素級分類任務的精度。

采用深度學習的語義分割方法，直接進行像素級別端到端(End-to-End)的語義分割，其只需要將訓練集中的圖像輸入進模型框架中訓練，得到權重與模型，即可在測試集進行預測。卷積神經網絡的強大之處在于它的多層結構能自動學習特征，并且可以學習到多個層次的特征。目前，基于深度學習語義分割的方法分為兩種，第一種是編碼-譯碼架構。編碼過程通過池化層逐漸減少位置信息、抽取抽象特征；譯碼過程逐漸恢復位置信息。一般譯碼與編碼間有直接的連接。第二種架構是帶孔卷積(Dilated Convolutions)，拋棄了池化層，通過帶孔卷積的方式擴大感知域，較小值的帶孔卷積感知域較小，學習到一些部分具體的特征；較大值的帶孔卷積層具有較大的感知域，能夠學習到更加抽象的特征，這些抽象的特征對物體的大小、位置和方向等魯棒性更好。

現有的服裝語義分割方法大多采用深度學習的方法，利用卷積層與池化層相結合的模型較多，然而單純利用池化操作與卷積操作獲得的特征圖單一且不具有代表性，從而會導致得到的圖像的特征信息減少，最終導致還原的效果信息比較粗糙，分割精度低。

發明內容

為了背景技術中提到的技術問題，本發明提供了一種基于交叉融合網絡的服裝語義分割方法，其分割效率高，且分割準確度高。

本發明解決上述技術問題所采用的技術方案為：

本發明包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟1_1：選取Q幅原始服裝場景圖像及每幅原始服裝場景圖像對應的深度圖像和真實語義分割圖像，并構成訓練集；

步驟1_2：構建卷積神經網絡；

步驟1_3：將訓練集中每幅原始服裝場景圖像和對應深度圖像分別進行數據增強，獲得數據增強后的原始服裝場景圖像和對應深度圖像并作為初始輸入圖像，將初始輸入圖像輸入到卷積神經網絡中進行訓練，得到訓練集中的每幅原始服裝場景圖像對應的語義分割預測圖；

步驟1_4：計算語義分割預測圖與對應的真實語義分割圖像之間的損失函數值；

步驟1_5：重復執行步驟1_3和步驟1_4共V次，損失函數值降至最小，獲得卷積神經網絡分類訓練模型；

所述的測試階段過程的具體步驟為：

步驟2：將待語義分割的服裝場景圖像和對應的深度圖像輸入到卷積神經網絡分類訓練模型中，獲得對應的預測語義分割圖像。