[發明專利]一種基于多模態深度神經網絡模型的商品分類方法

在審

• 申請號: 202011052122.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112231473A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 劉凡;高瑞涿;鄧言儀;張偉娟
• 申請（專利權）人: 河海大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06Q30/06
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

本發明公開了一種基于多模態深度神經網絡模型的商品分類方法，該方法首先將文本信息轉換為詞向量，詞向量能夠更好的體現詞與詞之間的關系，在使用文本分類模型TextCNN，對商品文本描述進行特征提取；為了避免過擬合，該方法對圖片使用了隨機圖像翻轉、隨機變化圖像的亮度等圖像增廣操作，再將處理后的結果輸入到商品圖片分類模型ResNet101中對商品圖片進行特征提取。然后對兩種模型提取出的特征向量經flatten函數展平后將兩個模態數據的特征向量在特征維度上直接連接，最后送入分類器對商品進行分類。本發明商品分類方法，避免了傳統單一模態數據對商品分類時的限制，將文本和圖片數據結合起來，無論是分類性能還是分類準確率都比使用單一模態數據的模型效果要好。

技術領域

本發明涉及商品分類方法，具體涉及一種基于多模態深度神經網絡模型的商品分類方法，屬于商品分類技術領域。

背景技術

隨著電子商務平臺的蓬勃發展，基于大數據挖掘的類目體系建設方法以其快速，高效，自動化，成本低等優勢將逐漸替代基于人工建設的方法。在現代，互聯網技術每天都在高速發展著，電子商務在人們生活中的比重越來越大，網絡購物成為許多人購買商品的首要選擇。隨著商品數量的增多，找到一種分類速度快、分類準確度高的商品分類方法，不僅是讓用戶在海量商品中挑選到自己所需商品的迫切需要，同時也是電子商務發展所必須要經歷和解決的一個問題。針對商品分類這一特定分類任務，目前已經有許多的深度神經網絡模型被提出，這些模型解決商品分類問題主要通過商品文本分類和商品圖像分類兩種方法進行，比如使用商品圖片數據進行訓練的基于卷積神經網絡的深度神經網絡模型、使用商品文本數據進行訓練的基于循環神經網絡以及基于一維卷積神經網絡的深度神經網絡模型。其中一些結構設計良好的模型在進行商品分類時有著較佳的性能。

然而，目前提出的用于商品分類的深度神經網絡模型大多數都僅基于單模態數據進行分類。在實際情況中，關于商品的相關信息有很多種形式，包括商品文本、商品圖像、視頻等，基于單模態數據的模型并沒有充分利用上這些信息。在許多機器學習、深度學習相關的應用中，都已經開始使用多模態數據來完成分類任務。使用基于多模態數據的深度神經網絡模型來完成分類任務，不僅能充分利用各類數據，同時還能有效地建立不同模態數據之間的關聯，不同模態數據之間的關聯，往往能讓模型學習到更多的商品相關信息，因此分類的準確度也通常優于基于單模態數據的模型。

近幾十年來，多模態數據開始逐漸受到人們的重視，各類機器學習、深度學習模型都開始廣泛應用多模態數據來完成任務。最具代表性的多模態數據是視頻，視頻由圖像和音頻組成，使用視頻數據進行物體識別是最常見的深度學習應用之一。自此以后，各種基于深度學習的數據融合方法被提出來用于處理分類任務的多模態信息。

其中，一種典型的方法是特征融合，即將不同模態數據在不同分類模型中所學習到的特征表示在深度學習網絡的中間部分進行結合，并輸入最終的分類器。比如Ngiam等人通過專用的受限玻爾茲曼機(RBMs)從給定的視頻中分別提取出音頻和視覺圖像的對應特征，并將這兩個特征串聯起來構成一個共享的表示，最后將這個特征表示輸入到最終的分類器中。Amer等人將基于特征融合方法的RBMs擴展為能處理時間序列數據的時間信息的模型。這些應用了特征融合方法的模型結構不僅能在單一的深度神經網絡模型中處理不同領域不同模態的數據，同時也充分考慮到了模態之間的關聯性與中層信息。這種方法解決了在特定分類任務中，數據融合方法可能存在的不同模態數據難以直接結合的問題以及決策融合方法無法很好的學習到不同模態之間關聯性的問題。

發明內容

本發明所要解決的技術問題是：提供一種基于多模態深度神經網絡模型的商品分類方法，利用特征融合的方法將商品文本特征和商品圖片特征結合起來，對商品進行分類。

本發明為解決上述技術問題采用以下技術方案：

一種基于多模態深度神經網絡模型的商品分類方法，包括如下步驟：