[發明專利]一種基于關鍵點檢測的衣服種類和屬性分類方法

有效

• 申請號: 201710780963.1
• 申請日: 2017-09-01
• 公開（公告）號: CN107918780B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 陳紀凱;潘炎;賴韓江;印鑒;高靜
• 申請（專利權）人: 中山大學;廣東恒電信息科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于關鍵點檢測的衣服種類和屬性分類方法，其特征在于，包括以下步驟：

S1：采集訓練樣本的數據；

S2：構建可配置的檢測衣服關鍵點的深度模型，并將訓練樣本的數據輸入深度模型，以對深度模型進行訓練；

S3：利用訓練后的檢測關鍵點的深度模型對衣服圖像進行分析，預測衣服圖像中每個關鍵點的位置；

S4：根據S3中預測關鍵點的結果，以此提取相關局部信息，再融合全局的圖片信息，再通過深度模型對衣服種類和屬性進行訓練、預測；

所述步驟S2中深度模型包括兩個卷積神經網絡；

第一個深度卷積神經網絡對衣服關鍵點位置進行學習，運用卷積神經網絡的卷積層提取圖像的數據的基礎表達，再利用反卷積層得到與原圖同樣尺寸的特征圖來預測各個關鍵點的位置；

第二個深度卷積神經網絡用于融合衣服圖像的局部特征和全局特征，其中，局部特征根據第一個深度卷積神經網絡預測得到的關鍵點位置提取；

衣服圖像經過第一個卷積神經網絡，預測出衣服關鍵點的位置；再根據這些關鍵點，確定出與識別目標有關的局部區域，再經過第二個卷積神經網絡融合局部和全局特征對衣服種類和屬性進行預測，輸出最終的結果；

所述的第一個深度卷積神經網絡由三種主要的層實現，分別是卷積層、降采樣層和反卷積層；該卷積層的輸入特征和輸出特征的長寬一致，可保持尺度不變；最后一層輸出的特征為256×256×L，其中L是關鍵點的個數，讓輸出的feature map的第k個通道預測第k個關鍵點的位置，對于該通道上的每個點的響應值F(x,y,k)，令它為預測點(x,y)是第k個關鍵點的概率值：

采用交叉熵來訓練該卷積神經網絡，定義損失函數如下：

其中batch_size是輸入神經網絡圖像的數目，H為輸入圖像和輸出特征的高，將手工標注的點坐標記為(x_g,y_g)，而對于一個二維平面，在標注點鄰近的點也可作為目標點，即(x_g-1,y_g)，(x_g,y_g-1)，(x_g+1,y_g)，(x_g,y_g+1)，(x_g-1,y_g-1)，(x_g+1,y_g+1)坐標也可以作為標注坐標；

因此定義標注點(x_g,y_g)處的值為最大概率值1，其鄰近的坐標按照一定比例線性下降，即如下公式所示，其中α為衰減因子；

Q(x,y,k)＝max(0,1-αmax(|x-x_g|,|y-y_g|))

再將Q(x,y,k)標準化之后，得到真實坐標的期望概率分布G(x,y,k)

這樣通過神經網絡的反向傳播算法更新及參數值，從而學習到一個健壯的模型。

2.根據權利要求1所述的基于關鍵點檢測的衣服種類和屬性分類方法，其特征在于，所述第二個深度卷積神經網絡的設計如下：

在得到關鍵點坐標后，可以據此確定出相關細節區域，左右手臂，領子區域，將這些細節區域和全局圖像同時輸入卷積神經網絡，在最后一個卷積層輸出的特征再輸入element-wise average pooling層，該層的數學定義如下：

其中o_i,j,k表示該層在位置i,j,k的響應值，分別代表第1,2,3,...,N個區域在同一位置上的響應值。

3.根據權利要求2所述的基于關鍵點檢測的衣服種類和屬性分類方法，其特征在于，所述步驟S3中還包括對關鍵點的檢測，其過程如下：

采用平均相對誤差來衡量錯誤

其中表示標注的第i張圖的第j個點的坐標，其中表示預測第i張圖的第j個點的坐標，k是關鍵點坐標的數量，n是測試圖片的數量，D_i是一個標準化項，表示左肩膀和右肩膀的距離。