[發明專利]一種基于圖注意力網絡的服裝屬性識別方法與系統

有效

• 申請號: 202110703933.7
• 申請日: 2021-06-24
• 公開（公告）號: CN113378962B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 蘇卓;楊明健;周凡
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/74;G06V10/774;G06V10/82;G06N3/045;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于圖注意力網絡的服裝屬性識別方法與系統。包括：對服裝數據集的屬性關系進行分析，構建屬性關系鄰接矩陣，從數據集中篩選出輸入圖像和對應的服裝屬性標簽，進行數據增強處理，其次提取特征，包括提取服裝圖像的整體視覺特征、屬性值視覺特征和屬性的關系特征，最后將屬性值視覺特征與屬性的關系特征進行特征融合，輸入至全接網絡，輸出屬性類別預測得分，即屬性識別分類結果，計算屬性關系圖注意力網絡最終的輸出結果與服裝屬性標簽交叉熵損失函數，利用梯度下降的方法訓練整個屬性關系圖注意力網絡。本發明基于計算機視覺的服裝屬性識別技術，使用圖注意力網絡充分挖掘屬性的內在聯系，提高網絡識別準確率。

技術領域

本發明涉及計算機視覺、深度學習領域，具體涉及一種基于圖注意力網絡的服裝屬性識別方法、系統、設備及存儲介質。

背景技術

在大數據時代，人工智能在各個行業都有著廣泛的應用。在時尚分析領域，面對時尚潮流以及服裝服飾的分析給人們的日常生活帶來許多便利。在這些時尚分析任務中，服裝的屬性是定性、定量描述服裝的重要時尚概念。服裝屬性識別技術是一個在時尚分析任務中的一個重要基礎技術。通過對輸入的服裝圖像進行識別，最終可以輸出各種服裝具有的語義屬性，例如顏色、款式、領口的設計樣式等等。目前隨著深度學習技術的不斷發展，服裝屬性識別技術也取得了許多重大的突破。一些大規模、細粒度的服裝數據集的出現也極大加速了服裝屬性識別技術的法展。這些技術大多是利用這些服裝數據集來訓練深層的卷積神經網絡，實現對各種服裝屬性的識別獲取，但受限于相關深度學習技術的限制，最終獲取的服裝屬性準確率無法滿足人們的需求。

目前的現有技術之一是一種采用多任務分支的神經網絡技術方案，該方案步驟如下：首先，對服裝屬性劃分為許多組屬性，例如顏色、形狀、長度、款式等等不同的屬性組；其次，為每一個屬性組分配一個網絡分支，一個分支完成一個屬性組內部的屬性識別任務；最后，定義一個聯合的損失函數，將每個分支的損失函數進行平均，以此來訓練整個網絡。該方案的缺點為：沒有考慮服裝屬性內部聯系對最終屬性識別準確率的影響，導致最終的識別準確率較低。

目前的現有技術之二是一種基于屬性從屬關系的神經網絡技術方案，該方案步驟如下：首先，對服裝屬性劃分為許多組屬性，例如顏色、形狀、長度、款式等等不同的屬性組；其次，為劃分出的屬性組內部構建從屬關系，例如對袖長這一屬性的短袖、長袖屬性歸類為有袖屬性，從而構建短袖、長袖屬性從屬于有袖屬性的從屬關系；最后，在定義損失函數的時候，添加一項父類屬性的損失函數，目的是為了先準確識別父類的屬性，從而進一步識別子類屬性。該方案的缺點為：首先，服裝的屬性關系十分復雜，單一的從屬關系無法完全表達出服裝屬性的內在聯系；其次，對于屬性關系對最終識別準確率的影響建模不到位，單純在損失函數添加罰項只能用于處理從屬關系。

發明內容

本發明的目的是克服現有方法的不足，提出了一種基于圖注意力網絡的服裝屬性識別方法。本發明解決的主要問題：一是沒有考慮服裝屬性內部聯系對最終屬性識別準確率的影響，導致最終的識別準確率較低；二是單一的從屬關系無法完全表達出服裝屬性的內在聯系；三是最終識別準確率的影響建模不到位，單純在損失函數添加罰項只能用于處理從屬關系。

為了解決上述問題，本發明提出了一種基于圖注意力網絡的服裝屬性識別方法，所述方法包括：

對服裝數據集的屬性關系進行分析，為每個不同的屬性組構建屬性關系鄰接矩陣；

從所述服裝數據集中篩選出輸入圖像與其對應的服裝屬性標簽，并將輸入圖像進行統一尺寸和數據增強處理；

將所述輸入圖像輸入到在圖像分類數據集ImageNet上預訓練好的ResNet模型中，提取服裝圖像的整體視覺特征；

將所述整體視覺特征再分別經過M個全連接層，為M個所述屬性組提取對應的屬性視覺特征，分出的每一個分支就是一個屬性識別網絡；

將所述屬性視覺特征進行轉化、切片分割，得到屬性值視覺特征；