[發明專利]基于圖像和文本多模態數據的產品外觀風格評價方法和系統

有效

• 申請號: 202110241232.6
• 申請日: 2021-03-04
• 公開（公告）號: CN112862569B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 朱思羽;戚進;胡潔
• 申請（專利權）人: 上海交通大學
• 主分類號: G06Q30/0601
• 分類號: G06Q30/0601;G06Q30/0201;G06F40/30;G06F40/247;G06F40/194;G06F18/214;G06F18/24;G06N3/0464
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于圖像和文本多模態數據的產品外觀風格評價方法，其特征在于，包括構建圖像美學風格模型，使用圖像美學風格預測算法，進行語義情感分析和多模態融合評價；

所述圖像美學風格模型為多層卷積神經網絡模型，以彩色圖像為輸入，以多維的圖像風格分類為輸出；

所述圖像美學風格預測算法用于進行預訓練和遷移學習，預測產品圖像的風格類型；

所述語義情感分析包括：使用圖像美學風格預測算法中的風格標簽處理用戶線上評論，計算用戶反饋的產品風格傾向；

所述多模態融合評價包括：融合圖像美學風格預測算法輸出的產品風格預測和語義情感分析輸出的產品風格反饋，提供外觀風格方面的產品評價結果；

所述圖像美學風格預測算法采用遷移學習策略，首先在大型圖像美學風格分類數據集AVA上使用數據集的14種風格標簽進行預訓練，隨后在特定產品領域下14種風格標簽標注的小型產品圖像風格數據集上進行微調，在無標簽的測試集上進行測試；

測試圖像的圖像美學風格模型預測輸出為該圖像的風格預測結果，為14維向量P＝(P₁,P₂…P₁₄)，P滿足：

∑_iP_i＝1

其中，P_i表示該圖像屬于第i種風格的概率；

所述語義情感分析模塊，使用圖像美學風格預測算法中的14個風格標簽處理線上用戶評論，使用WordNet語義詞典的同義查找方法lemma_names分別找到14個風格標簽的同義詞，將各個風格標簽擴充為風格詞集，包括以下步驟：

步驟1：對第i個風格標簽詞，分別在WordNet中查找該詞對應的語義集合Synsets_i；

步驟2：對Synsets_i中的第j個語義synset_ij，使用lemma_names方法找到其同義詞集合lem_ij；

步驟3：將第i個風格標簽詞對應的所有同義詞集合lem_ij組成第i個風格詞集Set_i：

Set_i＝∪_jlem_ij；

所述語義情感分析包括：將風格標簽擴充為風格詞集后，從線上電商平臺上收集預設產品的線上用戶評論，對評論文本進行清洗和預處理，包括以下步驟：

步驟1：文本收集，使用python庫urllib進行自動收集線上用戶評論；

步驟2：文本清洗，包括篩除重復的語句，篩除不屬于預設語言的語句，篩除只包含非文本內容的語句，剔除拼寫錯誤的詞；

步驟3：文本預處理，包括將所有字符轉為小寫字母，剔除不符合規范的標點符號，剔除停用詞，將所有動詞轉為現在時態；

所述語義情感分析模塊包括：對評論文本清洗和預處理后，依次對文本中的每個單詞使用WordNet提供的語義相似度計算方法lin_similarity分別計算與14個風格詞集的相似度，處理完所有文本后，統計所有詞的相似度結果，得到用戶反饋的風格傾向結果，第k個單詞w_k與第i個風格詞集Set_i的相似度Sim_k,i計算公式為：

Sim_k,i,t為第k個單詞w_k與第i個風格詞集Set_i中第t個詞的相似度：

其中，synset_km為第k個單詞w_k的語義集合Synsets_k中的第m個語義，synset_itn為第i個風格詞集Set_i中第t個詞的語義集合Synsets_it中的第n個語義，lin_similarity為WordNet提供的語義相似度計算方法；

統計所有詞的相似度計算結果，用戶反饋的對第i個風格的歸一化傾向值O_i為：

O′_i＝Σ_kSim_k,i

O_i＝O′_i/∑_iO′_i

最后得出產品的用戶反饋的風格傾向O＝(O₁,O₂…O₁₄)，作為語義情感分析的輸出。