[發明專利]一種多模態融合的商品分類系統

在審

• 申請號: 201710121903.9
• 申請日: 2017-03-02
• 公開（公告）號: CN106909946A
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 深圳明創自控技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06Q30/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種多模態融合的商品分類系統，其特征是：包括基于圖像的商品分類模塊、基于文本的商品分類模塊和圖文融合分類模塊，所述基于圖像的商品分類模塊用于獲取商品圖像的分類結果；所述基于文本的商品分類模塊用于獲取商品文本的分類結果；所述圖文融合分類模塊用于融合基于商品圖像的分類結果和基于商品文本的分類結果，得到并輸出商品類別。

2.根據權利要求1所述的一種多模態融合的商品分類系統，其特征是：所述基于圖像的商品分類模塊用于獲取商品圖像的分類結果，具體為：

(1)對需分類的商品圖像進行圖像去噪處理，包括：

1)進行需分類的商品圖像的光照歸一化處理，采用以下方式進行：將需分類的商品圖像P轉換到對數域，利用差分高斯濾波器對需分類的商品圖像P進行平滑處理，然后對需分類的商品圖像P進行全局對比度均衡化處理；

2)對需分類的商品圖像P以滑動窗口方式按照預先設定的滑動距離進行塊劃分；

3)提取得到的圖像塊中的每一塊的紋理特征，采用K-MEANS聚類方法基于提取的紋理特征對圖像塊進行聚類，獲得多個圖像塊組，利用多線性子空間學習濾波器對圖像塊組進行初次去噪；

4)采用改進的自適應字典學習去噪方法對初次去噪后的需分類的商品圖像進行二次去噪。

(2)獲取商品的圖像分類結果和圖像分類得分。

3.根據權利要求2所述的一種多模態融合的商品分類系統，其特征是：所述采用改進的自適應字典學習去噪方法對初次去噪后的需分類的商品圖像進行二次去噪，具體包括：

(1)對初次去噪后的圖像塊進行重排列形成列向量矩陣，并對列向量矩陣進行降維，最終形成樣本塊集合{P}；

(2)對該樣本塊集合進行自適應字典訓練，得到自適應學習字典D；

(3)對該需分類的商品圖像P按照另一設定的滑動距離再次進行滑動窗口的塊劃分，對得到的圖像塊進行重排列形成列向量矩陣，并對列向量矩陣進行降維，最終形成輸入圖像塊集合{P′}；

(4)求解輸入圖像塊集合{P′}中每一列向量在自適應學習字典上的稀疏表示稀疏μ，并按照下式計算輸出圖像塊y(P)：

y(P)＝Dμ

(5)將輸出圖像塊進行融合處理，得到預去噪圖像y′(P)；

(6)對預去噪圖像y′(P)進行低秩矩陣稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，對該低秩去噪分量DZ和稀疏含噪分量XS進行二次去噪處理，得到最終去噪圖像：

y″(P)＝DZ*XS′

式中，XS′表示對稀疏含噪分量XS進行中值濾波后得到的稀疏去噪分量，*表示融合處理。