[發(fā)明專利]一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)及搜索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110861841.1
• 申請(qǐng)日: 2021-07-28
• 公開(kāi)（公告）號(hào): CN113672752A
• 公開(kāi)（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 鄭澤宇;溫苗苗;李鴿;何治;海濱;石磊;馬銳
• 申請(qǐng)（專利權(quán)）人: 杭州知衣科技有限公司
• 主分類號(hào): G06F16/55
• 分類號(hào): G06F16/55;G06F16/583;G06N3/04;G06N3/08
• 代理公司: 杭州知學(xué)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33356
• 代理人: 何紅信

1.一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)，其特征在于，包括：

融合搜索識(shí)別模型，用于將接收的服裝圖像信息映射到特征空間，并生成圖像特征向量；根據(jù)不同識(shí)別特性，對(duì)圖像特征向量進(jìn)行特征切分得到類別特征向量，并根據(jù)類別特征向量輸出圖像特征；對(duì)圖像特征向量進(jìn)行解耦處理得到搜索用圖像特征向量，將搜索用圖像特征向量與數(shù)據(jù)庫(kù)中的圖像特征向量進(jìn)行對(duì)比，獲取相似的服裝圖像數(shù)據(jù)；

多模態(tài)模型，用于將文本信息映射為圖像特征向量，并與數(shù)據(jù)庫(kù)中的圖像特征向量進(jìn)行對(duì)比，獲取相似的服裝圖像數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)，其特征在于，對(duì)圖像特征向量進(jìn)行特征切分得到外輪廓類別特征向量和內(nèi)部類別特征向量；所述外輪廓類別特征向量包括品類、衣長(zhǎng)和輪廓的特征信息；所述內(nèi)部類別特征向量包括紋理和圖案的特征信息。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)，其特征在于，在對(duì)融合搜索識(shí)別模型訓(xùn)練數(shù)據(jù)獲取時(shí)，

融合搜索識(shí)別模型的訓(xùn)練數(shù)據(jù)包括識(shí)別用訓(xùn)練數(shù)據(jù)和搜索用訓(xùn)練數(shù)據(jù)；

所述識(shí)別用訓(xùn)練數(shù)據(jù)的獲取方法為：先將獲取的服裝圖像通過(guò)檢測(cè)模型獲取位置信息，再將帶有位置信息的服裝圖像通過(guò)進(jìn)行類別標(biāo)注得到識(shí)別用訓(xùn)練數(shù)據(jù)；

所述搜索用訓(xùn)練數(shù)據(jù)的獲取方法為：將服裝圖像數(shù)據(jù)庫(kù)中的相似圖像組成一組搜索用訓(xùn)練數(shù)據(jù)，從而獲得若干組搜索用訓(xùn)練數(shù)據(jù)，且每組搜索用訓(xùn)練數(shù)據(jù)組間的服裝圖像數(shù)據(jù)不相似。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)，其特征在于，在多模態(tài)模型訓(xùn)練數(shù)據(jù)獲取時(shí)，

所述多模態(tài)模型的同一條訓(xùn)練數(shù)據(jù)包括服裝圖像的服裝圖像信息以及同一服裝圖像的文本信息。

5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)，其特征在于，所述多模態(tài)模型的訓(xùn)練包括：

采用文本模型將文本信息映射到特征空間，并生成文本特征向量；

采用融合搜索識(shí)別模型將服裝圖像信息映射到特征空間，并生成圖像特征向量；

將文本特征向量和圖像特征向量映射到同一特征空間，并將文本特征向量和圖像特征向量拼接成新的特征向量對(duì)多模態(tài)模型進(jìn)行訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索系統(tǒng)，其特征在于，在多模態(tài)模型的損失函數(shù)中，將同一個(gè)圖像的文本特征向量和圖像特征向量拉近處理，將非同一個(gè)圖像的文本特征向量和圖像特征向量拉遠(yuǎn)處理。

7.一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索方法，其特征在于，包括：

接收服裝圖像信息或服裝圖像的文本信息；

當(dāng)接收的數(shù)據(jù)為服裝圖像信息時(shí)，執(zhí)行步驟如下步驟：

將接收的服裝圖像信息映射到特征空間，并生成圖像特征向量；

根據(jù)不同識(shí)別特性，對(duì)圖像特征向量進(jìn)行特征切分得到類別特征向量，并根據(jù)類別特征向量輸出圖像特征；

對(duì)圖像特征向量進(jìn)行解耦處理得到搜索用圖像特征向量；

將搜索用圖像特征向量與數(shù)據(jù)庫(kù)中的圖像特征向量進(jìn)行對(duì)比，獲取相似的服裝圖像數(shù)據(jù)；

當(dāng)接收的數(shù)據(jù)為服裝文本信息時(shí)，執(zhí)行步驟如下步驟：

將文本信息映射為圖像特征向量，并與數(shù)據(jù)庫(kù)中的圖像特征向量進(jìn)行對(duì)比，獲取相似的服裝圖像數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的一種基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索方法，其特征在于，對(duì)圖像特征向量進(jìn)行特征切分得到外輪廓類別特征向量和內(nèi)部類別特征向量；所述外輪廓類別特征向量包括品類、衣長(zhǎng)和輪廓的特征信息；所述內(nèi)部類別特征向量包括紋理和圖案的特征信息。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括通信連接的存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于執(zhí)行計(jì)算機(jī)程序?qū)崿F(xiàn)權(quán)利要求7或8所述基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，執(zhí)行權(quán)利要求7或8所述基于深度學(xué)習(xí)的服裝多模態(tài)融合搜索方法的步驟。