[發明專利]一種基于深度學習的多模態圖文推薦方法及設備

有效

• 申請號: 202110385246.5
• 申請日: 2021-04-09
• 公開（公告）號: CN113094534B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 黃昭;胡浩武
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06F16/535
• 分類號: G06F16/535;G06F16/335;G06V10/762;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明公開一種基于深度學習的多模態圖文推薦方法及設備，方法包括用一種跨模態圖文檢索模型MMDNN，其次，將MMDNN用于推薦系統之中，利用正負反饋聚類中心計算模塊PNFCCCM和用戶的正負反饋歷史記錄，計算用戶的正負反饋聚類中心，結合數據的相似度得分和正負反饋得分，從數據庫中找出與用戶歷史記錄中綜合得分最高的幾條數據，使用MMDNN模型從數據庫中找出與這幾條數據對應的另一種模態的數據，最后，把成對圖?文資源推薦給用戶，并且根據用戶的反饋更新用戶的歷史記錄和用戶的正負反饋聚類中心，實現多模態圖文推薦。

技術領域

本發明屬于計算機科學與技術應用領域，具體涉及一種基于深度學習的多模態圖文推薦方法及設備。

背景技術

目前，大多數推薦系統都側重于提供單一模式的內容，如利用圖片推薦圖片，利用文本推薦文本。事實上，圖片和文本不同的形式的資源，在描述相同的語義時存在著不平衡和互補的關系，圖像通常可以包含更多文本無法顯示的細節，文本具有表達高層次意義的優勢。所以，用戶更需要多模態結合的信息資源，跨模態檢索技術更令人關注。跨模態檢索是根據用戶輸入一種模式的信息，它可以返回多種模式結合信息的一種技術。目前，許多跨模態檢索方法還僅僅只應用在檢索領域，還未見將其應用到推薦系統領域。并且這些跨模態檢索方法存在檢索精度不足，耗費時間較長等缺點。大部分的推薦系統僅僅考慮了用戶正反饋的情況，其中用戶的負反饋記錄中同樣存在著許多可以利用的信息，因此，有必要提升跨模態檢索方法的質量和效率。

發明內容

為了解決現有技術中存在的問題，本發明提供一種基于深度學習的多模態圖文推薦方法及設備，通過設計一種高效的跨模態圖文檢索方法，并將其應用到推薦系統之中，實現根據用戶的個人偏好，向用戶推薦其所需要的圖文結合的信息資源的目的。

為了實現上述目的，本發明采用的技術方案是，一種基于深度學習的多模態圖文推薦方法，包括以下步驟：

基于用戶的歷史記錄采用跨模態檢索模型計算用戶的正反饋和負反饋的聚類中心點，所述歷史記錄包括圖像和文本；

從用戶歷史記錄中挑選出用戶評分較高的前N條歷史記錄；

提取所述N條歷史記錄的特征，根據所述特征得到N條歷史記錄的所屬類別；

用跨模態檢索模型從與所述N條歷史記錄模態相同的數據庫中提取同類型的數據；

計算所提取同類型的數據和所述N個歷史記錄的相似度得分，將所述相似度得分按照倒序排列，選取前M項相似度得分對應的歷史記錄；

使用所述正反饋和負反饋的聚類中心點分別計算所述M項中每一項歷史記錄的正反饋分數和負反饋分數；

根據M項相似度得分中每一項的相似度得分及所述正反饋分數和負反饋分數，計算所述M項歷史記錄中每一項數據的總得分，并按照所述總得分倒序排列，選取前K個數據；

針對所述K個數據中的每一項數據，用跨模態檢索模型從文本數據庫或圖像數據庫中找到與之對應的K個數據；

將所述前K個數據和文本數據庫或圖像數據庫中的K個數據對應結合，形成K項圖像-文本對，即得到推薦結果。

跨模態檢索模型用于數據特征的提取，跨模態檢索模型訓練的過程分為兩個階段：

在第一個階段，對于圖像，提取圖像模態內的表示和帶有文本信息的圖像模態間的表示；對于文本，提取文本模態內的表示和帶有圖像信息的文本模態間的表示；

在第二個階段，把圖像模態內的表示和圖像模態間的表示結合起來，形成圖像綜合表示；同時，把文本模態內的表示和文本模態間的表示結合起來，形成文本綜合表示，然后利用棧式對應自編碼器和約束函數在圖像和文本的綜合表示之間建立聯系，同時學習到圖像和文本的最終表示。

跨模態檢索模型通過以下過程進行訓練得到：