[發明專利]基于多通道主題模型的可編輯服裝圖像搜索方法

在審

• 申請號: 201711024040.X
• 申請日: 2017-10-27
• 公開（公告）號: CN107870992A
• 公開（公告）日: 2018-04-03
• 發明（設計）人: 周正中;張麗清
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/46;G06K9/62
• 代理公司: 上海交達專利事務所31201
• 代理人: 王毓理,王錫麟

1.一種基于多通道主題模型的可編輯服裝圖像搜索方法，其特征在于，首先使用物體檢測方法找到圖片中服飾商品的主體區域，并在主體區域上提取多種描述子并使用詞袋模型量化成詞袋形式向量；然后根據搜索條件對視覺詞的權重進行編輯修改，使用預訓練的多通道主題模型將詞袋形式向量融合成能夠描述服裝商品高層語義的檢索特征并建立索引；當在線檢測時，通過計算待查詢商品樣圖和數據庫圖像的向量相似度，以相似度最高的商品作為搜索結果。

2.根據權利要求1所述的方法，其特征是，所述的主體區域，通過訓練R-CNN檢測器來識別圖像中的服裝主體區域與模特軀干區域。

3.根據權利要求1或2所述的方法，其特征是，所述的主體區域，使用不同尺度的滑動窗口將該區域分割成多個相符重疊的子區域。

4.根據權利要求1所述的方法，其特征是，所述的描述子包括：視覺特征和文本特征，其中：視覺特征包括SIFT特征、FilterBank特征和顏色直方圖特征，文本特征包括產品描述。

5.根據權利要求1所述的方法，其特征是，所述的詞袋形式向量，利用K-means聚類和局部線性編碼，將描述子轉化成詞袋形式，即將圖像的特征詞以統計直方圖形式表征為定長的向量。

6.根據權利要求1所述的方法，其特征是，所述的多通道主題模型的Gibbs采樣規則為：

其中：表示從圖像或主題中去除短語p_r后的統計量，(·)是省略的隱參數；為屬于主題為k的短語的特征詞的個數，i為特征詞在詞典D^j中的序號，為I_m中主題為k的短語個數，Δ(·)是狄利克雷delta函數；主題z_r,r＝(m,n)為表示短語p_r的含義，和服從先驗為和的多項式分布；和又是服從先驗為與的狄利克雷分布；

通過對不斷迭代估計并在收斂后，通過：

求得參數和

7.根據權利要求1所述的方法，其特征是，所述的索引的結構具體通過提取數據庫中圖像特征的哈希值建立哈希列表得到。

8.根據權利要求1所述的方法，其特征是，所述的向量相似度，通過計算兩個服裝檢索特征間的歐幾里得距離得到。

9.一種實現上述任一權利要求所述方法的系統，其特征在于，包括：物體檢測模塊、特征提取模塊、用戶交互模塊、相似度匹配模塊以及圖像特征數據庫，其中：物體檢測模塊與特征提取模塊相連并傳輸圖像中服裝主體區域的位置信息，用戶交互模塊與特征提取模塊相連并傳輸用戶自定義檢索條件信息，特征提取模塊與相似度匹配模塊相連并傳輸查詢圖的圖像特征信息，圖像特征數據庫與相似度匹配模塊相連并傳輸數據庫中商品的圖像特征信息。