[發(fā)明專利]一種基于多模態(tài)深度神經(jīng)網(wǎng)絡(luò)模型的商品分類方法

在審

• 申請?zhí)枺?/td>: 202011052122.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112231473A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 劉凡;高瑞涿;鄧言儀;張偉娟
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06Q30/06
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 姜慧勤

1.一種基于多模態(tài)深度神經(jīng)網(wǎng)絡(luò)模型的商品分類方法，其特征在于，包括如下步驟：

步驟1，創(chuàng)建商品文本數(shù)據(jù)集Text_data＝{Y₁∪Y₂∪…∪Y_m}和商品圖片數(shù)據(jù)集Image_data＝{X₁∪X₂∪…∪X_m}，且商品文本數(shù)據(jù)集中的文本和商品圖片數(shù)據(jù)集中的圖片一一對應(yīng)，其中，Y_i表示第i個類別的文本數(shù)據(jù)，表示第i個類別中第j個商品的文本數(shù)據(jù)，X_i表示第i個類別的圖片數(shù)據(jù)，表示第i個類別中第j個商品的圖片數(shù)據(jù)，1≤i≤m，m為商品類別數(shù)，1≤j≤n，n為第i個商品類別的商品數(shù)；

步驟2，將商品文本數(shù)據(jù)集劃分為商品文本訓(xùn)練集和商品文本驗證集，分別對商品文本訓(xùn)練集和驗證集進(jìn)行預(yù)處理，所述預(yù)處理包括文本分詞、構(gòu)建詞典、數(shù)據(jù)填充，得到預(yù)處理后的商品文本訓(xùn)練集Train_text_data和驗證集Valid_text_data；

步驟3，根據(jù)步驟2商品文本數(shù)據(jù)集的劃分對商品圖片數(shù)據(jù)集進(jìn)行劃分，將商品文本訓(xùn)練集中每個商品文本對應(yīng)的商品圖片劃分到商品圖片訓(xùn)練集中，將商品文本驗證集中每個商品文本對應(yīng)的商品圖片劃分到商品圖片驗證集中；對商品圖片訓(xùn)練集進(jìn)行增廣操作和向量化標(biāo)準(zhǔn)化操作處理，得到處理后的商品圖片訓(xùn)練集Train_image_data，對商品圖片驗證集進(jìn)行向量化標(biāo)準(zhǔn)化操作處理，得到處理后的商品圖片驗證集Valid_image_data；

步驟4，將步驟2得到的預(yù)處理后的商品文本訓(xùn)練集Train_text_data輸入到TextCNN文本分類模型中進(jìn)行文本特征提取，將步驟3得到的處理后的商品圖片訓(xùn)練集Train_image_data輸入到ResNet101圖片分類模型中進(jìn)行圖片特征提取，將商品文本訓(xùn)練集Train_text_data中每個商品的文本特征和其在商品圖片訓(xùn)練集Train_image_data中對應(yīng)的商品的圖片特征在特征維度上直接連接，得到多模態(tài)數(shù)據(jù)特征向量，將多模態(tài)數(shù)據(jù)特征向量輸入到分類器中進(jìn)行分類器訓(xùn)練，得到訓(xùn)練好的分類器；

步驟5，將步驟2得到的預(yù)處理后的商品文本驗證集Valid_text_data輸入到TextCNN文本分類模型中進(jìn)行文本特征提取，將步驟3得到的處理后的商品圖片驗證集Valid_image_data輸入到ResNet101圖片分類模型中進(jìn)行圖片特征提取，將商品文本驗證集Valid_text_data中每個商品的文本特征和其在商品圖片驗證集Valid_image_data中對應(yīng)的商品的圖片特征在特征維度上直接連接，得到多模態(tài)數(shù)據(jù)特征向量，將多模態(tài)數(shù)據(jù)特征向量輸入到訓(xùn)練好的分類器中進(jìn)行驗證。