[發(fā)明專利]基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010944929.5
• 申請日: 2020-09-10
• 公開（公告）號: CN112214630B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 陳佳;張毅;胡新榮;何儒漢
• 申請（專利權(quán)）人: 武漢紡織大學(xué)
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢泰山北斗專利代理事務(wù)所(特殊普通合伙) 42250
• 代理人: 程千慧

1.基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索方法，其特征在于，包括以下步驟：

步驟1、對待檢索的服裝圖像進(jìn)行預(yù)處理，得到預(yù)處理后的服裝圖像；

步驟2、通過Stem模塊提取預(yù)處理后的服裝圖像的服裝細(xì)節(jié)信息；Stem模塊用于提取服裝的邊緣、轉(zhuǎn)角和顏色信息，Stem模塊包括7個串聯(lián)的卷積層、第8層卷積組和第9層疊加層，第1層卷積到第7層池化層是多個小尺寸的卷積層串聯(lián),第8層卷積組用于并行提取多個感受野，第8層卷積組包括四個水平層，其中第1水平層采用最大池化層進(jìn)行特征融合，第2、3和4水平層用于分別提取尺寸由小到大的感受野的特征圖，第3水平層中，采用1*5的非對稱卷積層和5*1的非對稱卷積層；步驟3、將步驟2得到的服裝細(xì)節(jié)信息通過膨脹卷積殘差網(wǎng)絡(luò)模塊進(jìn)行處理得到相應(yīng)的深層語義特征；

步驟4、對上步所獲得的深層次語義特征經(jīng)過二值檢索向量模塊生成高維向量；所述二值檢索向量模塊包括順次串聯(lián)的最大池化層、全局平均池化層和全連接層；

步驟5、采用主成分分析算法將上一步得到的高維向量進(jìn)行降維，得到待檢索的服裝圖像的特征向量x，通過混合距離度量算法分別計(jì)算特征向量x與圖像數(shù)據(jù)庫中各個圖像的特征向量的空間距離，利用高維近似近鄰搜索的隨機(jī)算法計(jì)算圖像數(shù)據(jù)庫中所有圖像與待檢索的服裝圖像的相似性,并進(jìn)行相似性排序；

所述混合距離度量算法包括以下步驟：

步驟5.1、對于圖像數(shù)據(jù)庫的圖像信息建立優(yōu)化函數(shù)，計(jì)算出能夠反映樣本空間特性的度量矩陣M；

步驟5.2、計(jì)算向量x和向量y之間的余弦距離計(jì)算特征向量x和圖像數(shù)據(jù)庫中一個圖像的特征向量y之間的馬氏距離

步驟5.3、根據(jù)公式dist(x,y)＝dist_C(x,y)+dist_M(x,y)計(jì)算得到向量x和特征向量y之間的空間距離，M為度量矩陣；

步驟6、按相似度由小到大的順序輸出圖像數(shù)據(jù)庫中前k個圖像結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索方法，其特征在于，所述膨脹卷積殘差網(wǎng)絡(luò)模塊包括4個串聯(lián)的膨脹卷積殘差網(wǎng)絡(luò)單層。

3.根據(jù)權(quán)利要求2所述的基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索方法，其特征在于，所述膨脹卷積殘差網(wǎng)絡(luò)單層中包括跳線結(jié)構(gòu)，且都使用padding＝same模式。

4.根據(jù)權(quán)利要求1所述的基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索方法，其特征在于，利用triple損失函數(shù)對度量矩陣M進(jìn)行反向傳播優(yōu)化。

5.基于膨脹卷積殘差網(wǎng)絡(luò)的服裝圖像檢索系統(tǒng)，其特征在于，包括預(yù)處理模塊、Stem模塊、膨脹卷積殘差網(wǎng)絡(luò)模塊、二值檢索向量模塊、混合距離度量算法計(jì)算模塊和高維近似近鄰搜索的隨機(jī)算法計(jì)算模塊；

預(yù)處理模塊用于對待檢索的服裝圖像進(jìn)行預(yù)處理，得到預(yù)處理后的服裝圖像；

Stem模塊用于提取預(yù)處理后的服裝圖像的服裝細(xì)節(jié)信息；具體用于提取服裝的邊緣、轉(zhuǎn)角和顏色信息，Stem模塊包括7個串聯(lián)的卷積層、第8層卷積組和第9層疊加層，第1層卷積到第7層池化層是多個小尺寸的卷積層串聯(lián),第8層卷積組用于并行提取多個感受野，第8層卷積組包括四個水平層，其中第1水平層采用最大池化層進(jìn)行特征融合，第2、3和4水平層用于分別提取尺寸由小到大的感受野的特征圖，第3水平層中，采用1*5的非對稱卷積層和5*1的非對稱卷積層；

膨脹卷積殘差網(wǎng)絡(luò)模塊用于對得到的服裝細(xì)節(jié)信息通過進(jìn)行處理得到相應(yīng)的深層次語義特征；

二值檢索向量模塊用于利用上步所獲得的深層次語義特征生成高維向量；所述二值檢索向量模塊包括順次串聯(lián)的最大池化層、全局平均池化層和全連接層；

混合距離度量算法計(jì)算模塊用于采用主成分分析算法將高維向量進(jìn)行降維，得到待檢索的服裝圖像的特征向量x，通過混合距離度量算法分別計(jì)算特征向量x與圖像數(shù)據(jù)庫中各個圖像的特征向量的空間距離；所述混合距離度量算法包括以下步驟：

步驟5.1、對于圖像數(shù)據(jù)庫的圖像信息建立優(yōu)化函數(shù)，計(jì)算出能夠反映樣本空間特性的度量矩陣M；

步驟5.2、計(jì)算向量x和向量y之間的余弦距離計(jì)算特征向量x和圖像數(shù)據(jù)庫中一個圖像的特征向量y之間的馬氏距離

步驟5.3、根據(jù)公式dist(x,y)＝dist_C(x,y)+dist_M(x,y)計(jì)算得到向量x和特征向量y之間的空間距離，M為度量矩陣；高維近似近鄰搜索的隨機(jī)算法計(jì)算模塊用于利用空間距離計(jì)算圖像數(shù)據(jù)庫中所有圖像與待檢索的服裝圖像的相似性，并進(jìn)行相似性排序，并按順序輸出圖像數(shù)據(jù)庫中相似度排序靠前的前k個圖像結(jié)果。