[發明專利]基于時尚圖遷移的特定行人衣物解析方法及系統

有效

• 申請號: 201711022989.6
• 申請日: 2017-10-26
• 公開（公告）號: CN107862696B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 胡瑞敏;鄭淇;黃鵬;陳軍;梁超;阮威健;熊明福;里想;黃文軍
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06T7/136;G06T7/62;G06N3/08;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 張火春

本發明公開了一種基于時尚圖遷移的特定行人衣物解析方法及系統，包括：首先，通過訓練時尚數據集初始化該模型；然后，將該模型用于解析含有行人的監控圖像，并引入條帶約束優化解析結果；最后，采用監控數據集中的弱標簽通過基于示例的遷移學習方法處理模型遷移問題。本發明提出的方法可以獲得時尚圖集中的衣服信息，并結合弱監督通過遷移學習將其應用于監控領域，既可以保留衣服解析在時尚領域獲取的信息，同時也可以改善監控衣物解析效果，并極大地減輕數據的標注工作量。在對實際監控數據集的定量和定性測試中，都佐證了本發明所提方法的有效性。

技術領域

本發明涉及監控圖像分割技術領域，涉及一種行人衣物解析方法，尤其涉及一種基于時尚圖遷移的特定行人衣物解析方法及系統。

背景技術

衣物解析是一種針對具體衣物及人體部件的圖像分割任務。雖然衣物解析是計算機視覺中近些年才興起的研究熱點，但其已廣泛應用于人物識別、姿態估計、時尚圖解析等領域。特別是與時尚圖相關的衣物解析取得了較為成功的研究成果與應用，如：服裝檢索、電子商務等。與此同時，盡管針對監控視頻中行人的衣物解析可以得到行人身份、位置、遮擋等智能安防系統中的關鍵信息，可為打擊犯罪、維護社會安全方面提供有效手段，但與時尚圖相比，目前對監控中的衣物解析的成果仍十分有限。

目前實際監控場景中的衣物解析，主要面臨兩方面的挑戰：(1)復雜的環境干擾，如光照變化、視角變化、低分辨率、運動模糊等；(2)分割標注工作任務量繁重，尤其流行的深度模型對訓練數據量提出了更高的要求。雖然在高清時尚圖像集中利用低級特征加人物姿態的方法取得了一定的效果^[1]～[2]，并在后來結合深度學習取得了更好的成果^[3]，但受限于監控場景的條件制約，監控視頻中的衣物解析的相關進展較為緩慢。若能將高清圖集中獲取的信息遷移到監控圖集中無疑是一種理想的解決上述兩者挑戰的途徑。然而現有遷移方法僅僅關注屬性級別的遷移^[4]～[5]。

針對以上問題，本發明提出了一種基于時尚圖遷移的特定行人衣物解析方法，該方法可以利用時尚領域的衣物信息，通過遷移學習將其應用于監控領域，保留了時尚圖集的優勢，改善了監控衣物解析效果，并極大地減輕數據標注量。

對已有類似的解析工作展開分析，迄今為止已有公開專利13項，但沒有與本項發明確切相關的“衣物解析”任務，下面列出其中與本發明最為相關的6項公開專利的分析。

中國專利文獻號CN102521565B，公開(公告)日2014.02.26，公開了一種低分辨率視頻的服裝識別方法，其首先利用背景建模技術獲得人體分割區域，再利用人體生物特征對人體進行分塊，通過顏色紋理特征與預設的庫特征對比，得到服裝的類別。該發明主要考慮服裝的類別區分，僅給出服裝的大致位置，沒有考慮服裝的上下邊緣的像素級分割信息，因而還有優化空間。

中國專利文獻號CN105760999A，公開(公告)日2016.07.13，公開了一種衣服推薦管理方法及系統，在衣服提取階段，其采用了人臉定位人體位置，再結合衣服的邊緣信息確定衣服區域的方法，然后通過衣物識別為該區域添加衣物標簽，然而該方法僅得到衣服的矩形區域，而非像素級別的分割區域。

中國專利文獻號CN103578004A，公開(公告)日2014.02.12，公開了一種用于展示虛擬試衣效果的方法，在提取人體分割區域時，首先獲取圖像四個頂點的像素點的顏色平均值作為背景色，然后計算圖像每個像素與背景色的RGB加權色差，再得到二值化圖像獲得人體分割區域。然而該發明主要針對人體進行分割，缺少了對衣物信息的挖掘。

中國專利文獻號CN104794722A，公開(公告)日2015.07.22，公開了利用單個Kinect計算著裝人體三維凈體模型的方法，該發明在提取人體分割區域時通過Kinect攝像頭，捕捉著裝人體RGB-D圖像及骨架信息，提取人體深度圖像后去噪，利用深度信息，然后將人體分為多個剛性部位，該方法與本發明的區別在于利用了額外的深度信息，并且無法得到衣物的類別信息。