[發明專利]基于圖像和文本多模態數據的產品外觀風格評價方法和系統

有效

• 申請號: 202110241232.6
• 申請日: 2021-03-04
• 公開（公告）號: CN112862569B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 朱思羽;戚進;胡潔
• 申請（專利權）人: 上海交通大學
• 主分類號: G06Q30/0601
• 分類號: G06Q30/0601;G06Q30/0201;G06F40/30;G06F40/247;G06F40/194;G06F18/214;G06F18/24;G06N3/0464
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種基于圖像和文本多模態數據的產品外觀風格評價方法和系統，包括：圖像美學風格模型，為多層卷積神經網絡模型，彩色圖像為輸入、多維圖像風格分類為輸出；圖像美學風格預測算法，進行預訓練和遷移學習，預測產品圖像的風格類型；語義情感分析模塊，使用圖像美學風格預測算法中的風格標簽處理用戶線上評論，計算用戶反饋的產品風格傾向；多模態融合評價模塊，融合圖像美學風格預測算法輸出的產品風格預測和語義情感分析輸出的產品風格反饋，提供外觀風格方面的產品評價結果。本方法融合了產品圖像信息與用戶反饋文本信息，基于數據建模與分析實現外觀風格方面的產品評價，相比于傳統的專家評定法具有更加客觀、科學、準確的優點。

技術領域

本發明涉及多模態數據技術領域，具體地，涉及一種基于圖像和文本多模態數據的產品外觀風格評價方法和系統。

背景技術

隨著近年來逐漸提升的消費者綜合要求和越來越多的商品種類，產品外觀對消費者的購買決策的影響也越來越大。對許多日常消費品如收音機、吹風機等，產品外觀正逐步成為影響產品成功的決定性因素。產品外觀的美學風格對產品的綜合外觀十分重要，并且與所吸引的用戶類型息息相關。美學風格一般是由特定詞匯語義描繪的抽象審美概念，有一定的主觀性和模糊性，其審美概念與特定詞匯所傳遞給用戶的美學聯想可能存在差異，在實際中，常同時使用若干種不同的美學風格，以多個風格詞匯和對應的多維美學風格值對產品進行描述。產品設計師所要傳遞的美學風格一般由產品圖像來體現，而用戶所實際體驗的風格在用戶反饋評論中常常有體現，兩者的差異反映了產品風格呈現的成功度，越是成功的外觀設計，其所要傳遞的美學風格與用戶實際反饋的風格越是接近。

圖像美學風格分析基于圖像處理與分析，通過對圖像和美學風格標簽之間的映射關系進行建模，發掘圖像所呈現美學風格的規律，可用于對產品圖像的美學風格預測。美學風格具有較大的普適性，例如適用于風景、人物等圖像的風格也可用于形容產品外觀，因此基于已有的大型圖像美學風格分類數據集學習的圖像與美學風格映射關系，經過較小的調整即可適用于產品圖像。AVA(A?Large-Scale?Database?for?Aesthetic?VisualAnalysis)是一個包含超過250000張有標簽圖像的圖像美學數據集，共有14種美學風格標簽。在特定的產品領域下創建一個較小的有標簽產品圖像數據集，則僅需收集部分產品圖像進行風格標注，經過數據增強后以較少的成本完成創建。

語義情感分析是近年來迅速發展的一種基于文本進行情感傾向分析的語義處理技術，能夠通過對文本進行處理和分析，獲得文本所體現的對一些特征的情感傾向。這些特征可以是具體事物如產品，也可以是抽象概念如某種美學風格。情感傾向一般是兩極的，正面和負面傾向，情感傾向越偏向正面的，對應特征的體現程度越高。

傳統的外觀風格評價方法主要是專家打分法，方法本身存在主觀性很強的缺點，對于外觀風格評價這樣的抽象和模糊的任務缺點更為明顯。

專利文獻CN106600385A(申請號：CN201611251457.5)公開了一種基于用戶追蹤的在線產品分析系統，包括用戶評論數據模塊、文本數據模塊、圖像數據模塊、文件數據分析模塊、圖像數據分析模塊、綜合評價分析模塊和用戶交互模塊，用戶評論數據模塊用于提取商品用戶的評論數據，用戶評論數據模塊分別連接至文本數據模塊和圖像數據模塊，文本數據模塊連接至文件數據分析模塊，文件數據分析模塊連接至綜合評價分析模塊，圖像數據模塊連接至圖像數據分析模塊，圖像數據分析模塊連接至綜合評價分析模塊，綜合評價分析模塊連接至用戶交互模塊。而本發明基于模型和算法進行了訓練，更為真實準確。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于圖像和文本多模態數據的產品外觀風格評價方法和系統。

根據本發明提供的基于圖像和文本多模態數據的產品外觀風格評價方法，包括構建圖像美學風格模型，使用圖像美學風格預測算法，進行語義情感分析和多模態融合評價；

所述圖像美學風格模型為多層卷積神經網絡模型，以彩色圖像為輸入，以多維的圖像風格分類為輸出；