[發(fā)明專利]一種時(shí)尚圖像主色調(diào)解析方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910375048.3
• 申請(qǐng)日: 2019-05-07
• 公開（公告）號(hào): CN110097603B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 黃博;胡玉琛;吳磊彬;林博
• 申請(qǐng)（專利權(quán)）人: 上海寶尊電子商務(wù)有限公司
• 主分類號(hào): G06T7/90
• 分類號(hào): G06T7/90;G06N3/0464;G06N3/084
• 代理公司: 上海卓陽(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31262
• 代理人: 周春洪

1.一種時(shí)尚圖像主色調(diào)解析方法，其特征在于，包括如下步驟：

S1、深度學(xué)習(xí)時(shí)尚服飾檢測(cè)框架的構(gòu)建；

S2、目標(biāo)檢測(cè)損失函數(shù)的設(shè)計(jì)；

S3、時(shí)尚服飾前景目標(biāo)區(qū)域的提取預(yù)處理；

S4、時(shí)尚服飾候選區(qū)域的主色調(diào)解析操作；

所述步驟S4包括：

S41、為了確保候選區(qū)域的主色調(diào)在人眼范圍內(nèi)可以明確的分辨，避免解析過程的精確度低問題，將圖像的主色調(diào)人為的歸納為59種常見時(shí)尚色系，根據(jù)像素間的歐式距離判別候選區(qū)域的色調(diào)歸類，在時(shí)尚單品提取解析中，遍歷候選區(qū)域，以便得到最終的主色調(diào)排序，根據(jù)排序的結(jié)果，計(jì)算每一種色調(diào)所占的比例，將幾種所占比例靠前的色調(diào)作為服飾的主色調(diào)；

S42、同樣的，對(duì)于時(shí)尚單品牌的主色調(diào)解析，可以將該品牌的所有圖像輸入深度學(xué)習(xí)檢測(cè)模型并做摳圖預(yù)處理，融合所有的圖像像素歸類信息，根據(jù)排序結(jié)果選取相應(yīng)的品牌主色調(diào)；

S43、在S41和S42中，采用人為的選取常見色系，類似于聚類的方式，

在特定感興趣類別的選取上，是為了滿足特定服飾的需求而制定的規(guī)則，但是這種規(guī)則在一定程度上并不具備通用性，為了降低這種不通用性的影響；在以上主色調(diào)計(jì)算的過程中加入了普適性的主色調(diào)計(jì)算方式，將全局圖像的所有像素點(diǎn)色調(diào)信息枚舉出來，并根據(jù)小的距離閾值做相鄰合并處理，突出小部分的色調(diào)信息與59種色調(diào)做加權(quán)和的計(jì)算，均衡化解析結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種時(shí)尚圖像主色調(diào)解析方法，其特征在于，所述步驟S1包括：

S11、深度學(xué)習(xí)時(shí)尚服飾檢測(cè)框架包括服飾特征提取、檢測(cè)框的預(yù)測(cè)以及包圍框的回歸，三個(gè)模塊分別對(duì)應(yīng)卷積神經(jīng)網(wǎng)絡(luò)中的卷積計(jì)算、前向傳播輸出和誤差反向傳播；卷積計(jì)算是一個(gè)濾波的過程，可以將網(wǎng)絡(luò)學(xué)習(xí)參數(shù)逐漸收斂從而提取感興趣的目標(biāo)特征；前向傳播是卷積神經(jīng)網(wǎng)絡(luò)特征提取金字塔的傳遞，將低層的紋理和輪廓信息逐層抽象表達(dá)；訓(xùn)練過程中每一次的訓(xùn)練都是對(duì)目標(biāo)結(jié)果的收斂過程，包圍框的回歸是目標(biāo)輸出過程中對(duì)二維位置信息的逐步收斂；

S12、采用生層建議窗框形式，通過多層卷積計(jì)算和池化操作，從底層到高層逐漸的縮減特征層大小，并且將預(yù)測(cè)方式直接作用于特征圖，每張圖生成300個(gè)建議窗口，預(yù)測(cè)每一個(gè)特征單元的所屬類歸屬；

S13、在每一個(gè)特征圖中，構(gòu)建多個(gè)預(yù)測(cè)框，預(yù)檢測(cè)框映射到卷積神經(jīng)網(wǎng)絡(luò)的最后一層卷積特征層上，通過池化層使每個(gè)感興趣區(qū)域生成固定尺寸的特征圖。

3.根據(jù)權(quán)利要求1所述的一種時(shí)尚圖像主色調(diào)解析方法，其特征在于，所述步驟S2包括：

S21、在預(yù)測(cè)階段，為了去除相關(guān)度不高且重疊率較大的默認(rèn)框，常按照匹配分?jǐn)?shù)從高到低排序，利用非極大值抑制的方法，搜索局部極大值，抑制非極大值；在用于時(shí)尚服飾圖像識(shí)別檢測(cè)過程中，采用隨機(jī)梯度下降算法和端到端的檢測(cè)模型，首先利用大數(shù)據(jù)集上的預(yù)訓(xùn)練模型權(quán)重對(duì)服飾的訓(xùn)練圖像進(jìn)行模型訓(xùn)練，得到目標(biāo)檢測(cè)模型，然后利用訓(xùn)練性能好的推理模型進(jìn)行時(shí)尚服飾的檢測(cè)測(cè)試，得到檢測(cè)結(jié)果。

4.根據(jù)權(quán)利要求1所述的一種時(shí)尚圖像主色調(diào)解析方法，其特征在于，所述步驟S3包括：

S31、經(jīng)過時(shí)尚服飾的位置區(qū)域提取之后，表明該區(qū)域內(nèi)為服飾前景，根據(jù)摳圖原理：對(duì)于一幅圖像I，可表示為前景F和背景B在因子α作用下的加權(quán)和：

I＝αF+(1-α)B，α∈[0，1]

S32、對(duì)于S31中的式子，其中I為已知量，而α、F、B均為未知量，要解決這樣一個(gè)病態(tài)的方程必須附加一定的約束條件，恰好在深度學(xué)習(xí)檢測(cè)模型的輔助之下，找到了屬于背景B的歸屬像素區(qū)域，同樣的，感興趣區(qū)域的前景F部分也在標(biāo)注框內(nèi)，進(jìn)一步明確了下一步的工作是重點(diǎn)突破α值的確定；

S33、在深度學(xué)習(xí)檢測(cè)模型的幫助下檢測(cè)到的時(shí)尚服飾區(qū)域，該區(qū)域內(nèi)存在多種噪聲，為了降低噪聲對(duì)摳圖精度的影響，采用雙邊濾波方式將噪聲濾除，使得該區(qū)域內(nèi)的邊緣信息更加明確突出。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S1中構(gòu)建含有11層卷積層、11層池化層和6層特征提取層，每一層特征提取層預(yù)測(cè)300個(gè)候選框，在訓(xùn)練階段候選框中的正負(fù)樣本保持在1:3維持正常訓(xùn)練，在測(cè)試階段設(shè)置0.6的重疊聯(lián)合比，并以非極大值抑制算法減小大量多余的預(yù)測(cè)候選框。