[發明專利]基于多模態商品評論分析的商品推薦方法及系統

有效

• 申請號: 202010090379.5
• 申請日: 2020-02-13
• 公開（公告）號: CN111311364B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 崔立真;姜濤;鹿旭東;郭偉
• 申請（專利權）人: 山東大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06N3/08;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于多模態商品評論分析的商品推薦方法及系統，包括：獲取某商品的評論信息；對獲取的商品的評論信息進行數據預處理；判斷評論信息中是否有圖像，如果有圖像，則對圖像提取圖像的情感標簽；判斷評論信息中是否有視頻，如果有視頻，則將視頻中的音頻提取出來，將音頻轉換為文本；判斷評論信息中是否有音頻，如果有音頻，則將音頻轉換為文本；判斷評論信息中是否有文本，如果有文本，則將評論信息中的文本與轉換得到的文本進行整合，得到整合后的文本；對整合后的文本，提取文本的情感標簽；將圖像的情感標簽和文本的情感標簽，均輸入到預訓練的神經網絡中，輸出當前商品的推薦標簽。

技術領域

本公開涉及商品推薦技術領域，尤其涉及基于多模態商品評論分析的商品推薦方法及系統。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

在日常生活中，人類能夠通過聆聽語言和觀察表情以及姿態動作等捕捉對方的情感變化，識別情感狀態信息，進而進行情感交流。而如果想讓機器能夠像人一樣的感知和理解情感，那么就必須讓機器能夠對人類這方面的能力進行模擬，進而讓機器具有捕捉多模態的情感特征，并對其進行處理，最后表達出相應人類情感的能力。

在現實生活中，我們文字或者語言只是人的綜合理解系統的一部分，用于理解和交流我們遇到的情景以及參與的對象。其中情景表征構成了我們的世界模型，并指導這我們的行為和對語言的理解，解決一個句子中代詞的指代問題，可以從構建句子所描述的情景表示開始。情景可以是具體的和靜態的，例如大媽在跳廣場舞。當人們將文本的陳述與熟悉的場景聯系起來，也就是文字和圖片或者視頻信息聯系起來，機器就能更好地理解和記憶文本。正如人在交流的時候，會同時使用語言輸入和非語言的輸入。

在實現本公開的過程中，發明人發現現有技術中存在以下技術問題：

網上商城的商品評論對于商家運營決策是非常重要的，當一個商品的負面評論過多時，商家會考慮減少或停止售賣該商品，轉而用一種評論比較好的商品代替，所以商品的評論分析，對于店家來說是非常重要的。現在人們在給商品評論的時候，寫文字的越來越少，更多的人是使用視頻或者圖片加上少量的文字作為用戶給這個商品的評價。因為之前的研究多是基于文本的，但是基于文本的評論分析，很難真正理解用戶的意圖，不能給商家一個正確的評論分析報告。

發明內容

本公開的目的就是為了解決上述問題，提供基于多模態商品評論分析的商品推薦方法及系統，可以更好的利用商品評論中的視頻、圖片和文本信息，更好的理解用戶評論的級別，本公開中我們設計了五種情感級別分別是-2，-1,0,1,2五種，正數代表積極情感，負數代表消極情感，數字越大情感級別越高，0代表中立，使用圖像和自然語言深度學習技術，分析評論的情感，并將圖像和自然語言處理的兩個深度學習模型的分析，綜合考慮，得到一個最終的對評論的評級。

為了實現上述目的，本公開采用如下技術方案：

第一方面，本公開提供了基于多模態商品評論分析的商品推薦方法；

基于多模態商品評論分析的商品推薦方法，包括：

獲取某商品的評論信息；

對獲取的商品的評論信息進行數據預處理；

判斷評論信息中是否有圖像，如果有圖像，則對圖像提取圖像的情感標簽；

判斷評論信息中是否有視頻，如果有視頻，則將視頻中的音頻提取出來，將音頻轉換為文本；如果沒有視頻，則進入下一步；

判斷評論信息中是否有音頻，如果有音頻，則將音頻轉換為文本；如果沒有音頻，則進入下一步；

判斷評論信息中是否有文本，如果有文本，則將評論信息中的文本與轉換得到的文本進行整合，得到整合后的文本；如果沒有文本，則返回商品的評論信息獲取步驟；