[發明專利]一種基于深度學習的服裝多模態融合搜索系統及搜索方法

在審

• 申請號: 202110861841.1
• 申請日: 2021-07-28
• 公開（公告）號: CN113672752A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 鄭澤宇;溫苗苗;李鴿;何治;海濱;石磊;馬銳
• 申請（專利權）人: 杭州知衣科技有限公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/583;G06N3/04;G06N3/08
• 代理公司: 杭州知學知識產權代理事務所(普通合伙) 33356
• 代理人: 何紅信

本公開提供了一種基于深度學習的服裝多模態融合搜索系統及搜索方法，旨在解決用戶上傳的數據輸入形式比較單一的問題。基于深度學習的服裝多模態融合搜索系統，包括融合搜索識別模型，將接收的服裝圖像信息映射到特征空間，并生成圖像特征向量；根據不同識別特性，對圖像特征向量進行特征切分得到類別特征向量，根據類別特征向量輸出圖像特征；對圖像特征向量進行解耦處理得到搜索用圖像特征向量，將搜索用圖像特征向量與數據庫中的圖像特征向量進行對比，獲取相似的服裝圖像數據；多模態模型，將文本信息映射為圖像特征向量，與數據庫中的圖像特征向量進行對比，獲取相似的服裝圖像數據。用戶上傳的數據可以為圖像數據，也可以為文本數據。

技術領域

本公開屬于服裝搜索技術領域，具體涉及一種基于深度學習的服裝多模態融合搜索系統及搜索方法。

背景技術

服裝搜索是服裝行業必不可少的一部分，其中，服裝搜索又分為通過文字搜索服裝圖片和通過服裝圖片搜索相似服裝圖片。大部分業內人員將這兩種搜索分別訓練和部署，一個模型僅能服務一個功能，功能比較單一。文字搜索一般使用Bert等模型做語義匹配；圖片搜索一般使用ResNet等深度模型利用triplet loss損失函數來搜索圖片。

早期的多模態搜索系統，一般是通過文字信息搜索來對應文字搜索信息，通過搜索到的文字搜索信息對應到圖片，文字和圖像之間的映射關系完全通過人工設置，缺乏靈活性，并且文字和圖像之間并沒有特征上的映射，導致文字和圖片的關系完全依賴于硬性設定。在搜索系統中，用戶上傳的數據輸入形式比較單一，僅支持單獨的文本類數據或單獨的圖像類數據，導致搜索功能較為單一。

發明內容

本公開提供了一種基于深度學習的服裝多模態融合搜索系統及搜索方法，旨在解決現有的搜索系統中，用戶上傳的數據輸入形式比較單一的問題。

為了解決上述技術問題，本公開所采用的技術方案為：

第一方面，本公開提供了一種基于深度學習的服裝多模態融合搜索系統，包括：

融合搜索識別模型，用于將接收的服裝圖像信息映射到特征空間，并生成圖像特征向量；根據不同識別特性，對圖像特征向量進行特征切分得到類別特征向量，并根據類別特征向量輸出圖像特征；對圖像特征向量進行解耦處理得到搜索用圖像特征向量，將搜索用圖像特征向量與數據庫中的圖像特征向量進行對比，獲取相似的服裝圖像數據；

多模態模型，用于將文本信息映射為圖像特征向量，并與數據庫中的圖像特征向量進行對比，獲取相似的服裝圖像數據。

進一步改進的方案：對圖像特征向量進行特征切分得到外輪廓類別特征向量和內部類別特征向量；所述外輪廓類別特征向量包括品類、衣長和輪廓的特征信息；所述內部類別特征向量包括紋理和圖案的特征信息。

進一步改進的方案：在對融合搜索識別模型訓練數據獲取時，

融合搜索識別模型的訓練數據包括識別用訓練數據和搜索用訓練數據；

所述識別用訓練數據的獲取方法為：先將獲取的服裝圖像通過檢測模型獲取位置信息，再將帶有位置信息的服裝圖像通過進行類別標注得到識別用訓練數據；

所述搜索用訓練數據的獲取方法為：將服裝圖像數據庫中的相似圖像組成一組搜索用訓練數據，從而獲得若干組搜索用訓練數據，且每組搜索用訓練數據組間的服裝圖像數據不相似。

基于上述方案，先獲取位置信息，再將帶有位置信息的服裝圖像通過進行類別標注，在識別類別的過程中，可以確定同一張圖片中不同類別所對應的位置，避免混淆，從而可以提高模型的識別效果。

進一步改進的方案：在多模態模型訓練數據獲取時，

所述多模態模型的同一條訓練數據包括服裝圖像的服裝圖像信息以及同一服裝圖像的文本信息。

進一步改進的方案：所述多模態模型的訓練包括：