[發明專利]一種基于多模態深度神經網絡模型的商品分類方法

在審

• 申請號: 202011052122.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112231473A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 劉凡;高瑞涿;鄧言儀;張偉娟
• 申請（專利權）人: 河海大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06Q30/06
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

1.一種基于多模態深度神經網絡模型的商品分類方法，其特征在于，包括如下步驟：

步驟1，創建商品文本數據集Text_data＝{Y₁∪Y₂∪…∪Y_m}和商品圖片數據集Image_data＝{X₁∪X₂∪…∪X_m}，且商品文本數據集中的文本和商品圖片數據集中的圖片一一對應，其中，Y_i表示第i個類別的文本數據，表示第i個類別中第j個商品的文本數據，X_i表示第i個類別的圖片數據，表示第i個類別中第j個商品的圖片數據，1≤i≤m，m為商品類別數，1≤j≤n，n為第i個商品類別的商品數；

步驟2，將商品文本數據集劃分為商品文本訓練集和商品文本驗證集，分別對商品文本訓練集和驗證集進行預處理，所述預處理包括文本分詞、構建詞典、數據填充，得到預處理后的商品文本訓練集Train_text_data和驗證集Valid_text_data；

步驟3，根據步驟2商品文本數據集的劃分對商品圖片數據集進行劃分，將商品文本訓練集中每個商品文本對應的商品圖片劃分到商品圖片訓練集中，將商品文本驗證集中每個商品文本對應的商品圖片劃分到商品圖片驗證集中；對商品圖片訓練集進行增廣操作和向量化標準化操作處理，得到處理后的商品圖片訓練集Train_image_data，對商品圖片驗證集進行向量化標準化操作處理，得到處理后的商品圖片驗證集Valid_image_data；

步驟4，將步驟2得到的預處理后的商品文本訓練集Train_text_data輸入到TextCNN文本分類模型中進行文本特征提取，將步驟3得到的處理后的商品圖片訓練集Train_image_data輸入到ResNet101圖片分類模型中進行圖片特征提取，將商品文本訓練集Train_text_data中每個商品的文本特征和其在商品圖片訓練集Train_image_data中對應的商品的圖片特征在特征維度上直接連接，得到多模態數據特征向量，將多模態數據特征向量輸入到分類器中進行分類器訓練，得到訓練好的分類器；

步驟5，將步驟2得到的預處理后的商品文本驗證集Valid_text_data輸入到TextCNN文本分類模型中進行文本特征提取，將步驟3得到的處理后的商品圖片驗證集Valid_image_data輸入到ResNet101圖片分類模型中進行圖片特征提取，將商品文本驗證集Valid_text_data中每個商品的文本特征和其在商品圖片驗證集Valid_image_data中對應的商品的圖片特征在特征維度上直接連接，得到多模態數據特征向量，將多模態數據特征向量輸入到訓練好的分類器中進行驗證。