日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于深度學習的多模態圖文推薦方法及設備有效

專利信息
申請號: 202110385246.5 申請日: 2021-04-09
公開(公告)號: CN113094534B 公開(公告)日: 2022-09-02
發明(設計)人: 黃昭;胡浩武 申請(專利權)人: 陜西師范大學
主分類號: G06F16/535 分類號: G06F16/535;G06F16/335;G06V10/762;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/08
代理公司: 西安通大專利代理有限責任公司 61200 代理人: 王艾華
地址: 710119 陜西*** 國省代碼: 陜西;61
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 深度 學習 多模態 圖文 推薦 方法 設備
【權利要求書】:

1.一種基于深度學習的多模態圖文推薦方法,其特征在于,包括以下步驟:

基于用戶的歷史記錄采用跨模態檢索模型計算用戶的正反饋和負反饋的聚類中心點,所述歷史記錄包括圖像和文本;

從用戶歷史記錄中挑選出用戶評分較高的前N條歷史記錄;

提取所述N條歷史記錄的特征,根據所述特征得到N條歷史記錄的所屬類別;

用跨模態檢索模型從與所述N條歷史記錄模態相同的數據庫中提取同類型的數據;

計算所提取同類型的數據和所述N個歷史記錄的相似度得分,將所述相似度得分按照倒序排列,選取前M項相似度得分對應的歷史記錄;

使用所述正反饋和負反饋的聚類中心點分別計算所述M項中每一項歷史記錄的正反饋分數和負反饋分數;

根據M項相似度得分中每一項的相似度得分及所述正反饋分數和負反饋分數,計算所述M項歷史記錄中每一項數據的總得分,并按照所述總得分倒序排列,選取前K個數據;

針對所述K個數據中的每一項數據,用跨模態檢索模型從文本數據庫或圖像數據庫中找到與之對應的K個數據;

將所述前K個數據和文本數據庫或圖像數據庫中的K個數據對應結合,形成K項圖像-文本對,即得到推薦結果;跨模態檢索模型通過以下過程進行訓練得到:

采用去除了最后一層分類層的MobileNetV3-large模型來初步提取圖像特征,在初步提取圖像特征的基礎上,一方面用AE來提取圖像模態內的表示,即具有模態內信息的圖像模態內表示;一方面使用RBM提取得到圖像進一步的表示,該圖像進一步的表示將被用來形成具有文本信息的圖像模態間表示;

使用TF-IDF算法來初步提取文本特征;在初步提取文本特征的基礎上一方面使用DAE提取文本模態內的表示,即具有模態內信息的文本模態內表示;一方面使用RSRBM提取得到文本進一步的表示,該文本進一步的表示將被用來形成具有圖像信息的文本模態間表示;

基于所述圖像進一步的表示和文本進一步的表示,本發明用Multimodal DBN來提取圖像和文本的模態間表示;在Multimodal DBN的頂層,在圖像和文本表示之間進行交替的吉布斯采樣,即獲得帶有文本特征的圖像模態間表示和帶有圖像特征的文本模態間表示;

利用兩個joint-RBM模型融合每種模態的模態內表示和模態間表示,

一個joint-RBM模型將圖像模態內表示和圖像模態間表示進行融合,得到圖像的綜合表示;另一個joint-RBM模型,將具有文本模態內表示和文本模態間表示進行融合,得到文本的綜合表示;

分別用兩個DAE對所述圖像的綜合表示和所述文本的綜合表示分別做分類訓練,以提取圖像和文本特征的最佳隱藏層數;

固定所提取的圖像和文本的最佳隱藏層數,并使圖像和文本的最佳隱藏層數一一對齊,組成棧式對應自編碼器;

在棧式對應自編碼器中,使用關聯約束函數,重新利用第二階段圖像的綜合表示和第二階段文本的綜合表示訓練所述棧式對應自編碼器,使得所述棧式對應自編碼器在得到圖像和文本最終表示的同時,能夠在圖像和文本的表示之間建立聯系;

使用所述正反饋和負反饋的聚類中心點分別計算所述M項中每一項歷史記錄的正反饋分數和負反饋分數時:計算出備選圖片或文本數據特征與該用戶正反饋中心和負反饋中心的距離,使用圖像或者文本數據特征到正負反饋聚類中心點距離的倒數的和,作為該數據的正負反饋分數。

2.根據權利要求1所述的基于深度學習的多模態圖文推薦方法,其特征在于,跨模態檢索模型用于數據特征的提取,跨模態檢索模型訓練的過程分為兩個階段:

在第一個階段,對于圖像,提取圖像模態內的表示和帶有文本信息的圖像模態間的表示;對于文本,提取文本模態內的表示和帶有圖像信息的文本模態間的表示;

在第二個階段,把圖像模態內的表示和圖像模態間的表示結合起來,形成圖像綜合表示;同時,把文本模態內的表示和文本模態間的表示結合起來,形成文本綜合表示,然后利用棧式對應自編碼器和約束函數在圖像和文本的綜合表示之間建立聯系,同時學習到圖像和文本的最終表示。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于陜西師范大學,未經陜西師范大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202110385246.5/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 国产精品6699| 日本精品99| 国产伦精品一区二区三区免费观看| 欧美日韩一区电影| 中文文精品字幕一区二区| 国产精品欧美日韩在线| 久久综合狠狠狠色97| 日韩欧美一区精品| 欧美在线视频一区二区三区| 精品国产一区二区三| xoxoxo亚洲国产精品| 国产精品一区在线观看你懂的| 中出乱码av亚洲精品久久天堂| 中文字幕一级二级三级| 国产91电影在线观看| 国产亚洲精品久久777777| 国产一区二区电影| 国产精品自产拍在线观看桃花| 精品久久久久一区二区| 夜色av网站| 国产二区免费视频| 欧美一区二区久久久| 国偷自产中文字幕亚洲手机在线| 午夜毛片电影| 国产精华一区二区精华| 另类视频一区二区| 国产精品九九九九九| 亚洲色欲色欲www| 国产精品国产三级国产播12软件| 日韩中文字幕在线一区| 国产麻豆一区二区三区在线观看| 午夜毛片在线| 99久久夜色精品国产网站| 国产欧美一区二区在线观看| 国产九九影院| 日韩av中文字幕在线免费观看| 26uuu亚洲国产精品| 91精品视频一区二区| 午夜影皖精品av在线播放| 99国产精品| 日本边做饭边被躁bd在线看| 欧美精品一区二区久久久| 香蕉视频在线观看一区二区| 99久久夜色精品国产网站| 色综合久久网| 午夜激情影院| 国产日韩欧美另类| 满春阁精品av在线导航| 亚洲国产精品一区二区久久hs| 国产真实一区二区三区| 国产精品久久久久久久四虎电影| 国产在线观看二区| 91亚洲精品国偷拍| 国产主播啪啪| 久久69视频| 91看片免费| 制服丝袜二区| 99国精视频一区一区一三| 99久久国产综合精品色伊| 日韩精品免费一区二区在线观看| 国产伦精品一区二区三区免费优势| 久久福利视频网| 亚洲一区二区福利视频| 欧美精品在线观看视频| 91麻豆精品国产综合久久久久久| 年轻bbwwbbww高潮| 亚洲少妇一区二区三区| 国产91福利视频| 456亚洲精品| 欧美一区二区三区高清视频| 午夜电影一区| 午夜激情在线免费观看| 国产在线一区观看| 国产伦精品一区二| 欧美一区二区性放荡片| 久久国产精品欧美| 午夜电影理伦片2023在线观看| 99精品偷拍视频一区二区三区| 欧美日韩激情在线| 久免费看少妇高潮a级特黄按摩 | 韩日av一区二区| 一区二区在线国产| 97国产婷婷综合在线视频,| 一区不卡av| 91高跟紫色丝袜呻吟在线观看 | 素人av在线| 亚洲国产精品综合| 精品国产一区二区三区久久久久久 | 国产理论片午午午伦夜理片2021| 国产精品一区一区三区| 亚洲欧美国产精品一区二区| 欧美xxxxhdvideos| 天堂av色婷婷一区二区三区| 麻豆天堂网| 日韩av在线导航| 国产乱码精品一区二区三区中文| 国产精品一级片在线观看| 国产91电影在线观看| 日本伦精品一区二区三区免费| 亚洲s码欧洲m码在线观看| 国产精品无码永久免费888| 91久久综合亚洲鲁鲁五月天| 91精品视频一区二区| 欧美精品一区二区性色| 亚洲精品久久久久999中文字幕 | 日韩av中文字幕第一页| 麻豆国产一区二区| 亚洲福利视频二区| 久久夜色精品国产噜噜麻豆| 欧美一区二区三区另类| 国模精品免费看久久久| 国产性猛交| 蜜臀久久久久久999| 久久国产免费视频| av不卡一区二区三区| 538国产精品一区二区在线| 91精彩刺激对白露脸偷拍| 国产精品欧美一区二区三区奶水| 狠狠躁天天躁又黄又爽| 天天射欧美| 亚洲一卡二卡在线| 手机看片国产一区| 国产日韩精品久久| 国产精品九九九九九九九| 蜜臀久久99精品久久久久久网站| 久久午夜鲁丝片午夜精品| 96国产精品视频| 午夜精品99| 在线亚洲精品| 日韩精品一区二区中文字幕| 久草精品一区| 日韩国产精品久久久久久亚洲| 99国产精品9| 欧美高清视频一区二区三区| 久久一区二区精品视频| 国产一区二区91| 91超薄丝袜肉丝一区二区| 国产精品久久人人做人人爽| 99re国产精品视频| 日韩av不卡一区| 国产精品日韩高清伦字幕搜索| 亚洲精品日韩在线| 亚洲第一区国产精品| 久久夜色精品国产亚洲| 午夜特片网| 国产无遮挡又黄又爽又色视频 | 国内偷拍一区| 久久精品麻豆| 精品视频久| 午夜激情看片| 亚洲精品少妇一区二区 | 狠狠色成色综合网| 福利片一区二区三区| 国产欧美性| 538国产精品| 国产专区一区二区| 日韩一区高清| www.成| 色综合久久精品| 国产欧美一区二区三区不卡高清| 亚洲精品91久久久久久| 首页亚洲欧美制服丝腿| www.久久精品视频| 午夜老司机电影| 欧美乱妇在线视频播放| 国产91热爆ts人妖系列| 国产伦高清一区二区三区| 国产精品久久久久四虎| 亚洲乱强伦| 福利片91| 国产极品一区二区三区| 亚洲伊人久久影院| 日韩欧美国产高清91| 久久久久亚洲| 国产69精品久久99不卡免费版| 国产偷亚洲偷欧美偷精品 | 欧美freesex极品少妇| 久久国产精久久精产国| 福利电影一区二区三区| 午夜爱爱电影| 国产一区二区在线91| 国产免费一区二区三区四区五区| 国产精品视频1区| 国产大片黄在线观看私人影院| 国产午夜精品免费一区二区三区视频| 欧美精品一区二区久久| 久久99视频免费| 日本一区中文字幕| 国产91一区| 国产精品久久久麻豆| 欧美一区二区三区免费看| 狠狠色噜噜狠狠狠狠2021天天| 国模精品免费看久久久| 鲁一鲁一鲁一鲁一鲁一av| 欧美精品久久一区二区| 日本中文字幕一区| 欧美一区二区在线不卡| 国产精品美女久久久另类人妖| 日本一区免费视频| 日本三级香港三级| 国产精品久久久区三区天天噜| 97久久国产亚洲精品超碰热| 欧美乱妇在线视频播放| 国产精品18久久久久久白浆动漫| 99精品区| 国产1区2区3区| 最新国产一区二区| 中文字幕一级二级三级| 综合色婷婷一区二区亚洲欧美国产| 色乱码一区二区三在线看| 窝窝午夜精品一区二区| 久久精品爱爱视频| 午夜欧美a级理论片915影院| 国产精品乱码久久久久久久| 一区二区中文字幕在线观看| 国产精品视频久久久久久久| 午夜激情在线播放| 国产欧美一区二区三区免费看| 美女销魂免费一区二区| 日本一区二区高清| 亚洲一二区在线观看| 色综合欧美亚洲国产| 91精品国产九九九久久久亚洲| 欧美日韩国产在线一区二区三区| 国产精品尤物麻豆一区二区三区| 亚洲精品国产一区| 亚洲乱码av一区二区三区中文在线:| 国产在线不卡一区| 91精品一区二区中文字幕| 午夜看片网址| 99国产精品99久久久久| 亚洲精品国产suv| 欧美日韩国产色综合一二三四| 国产精品1区二区| 欧美极品少妇| 久久久久久久久久国产精品| 国产乱人伦偷精品视频免下载| 一区二区三区国产精品| 国产一二区在线观看| 国产精品一区在线观看| 亚洲国产欧美一区二区三区丁香婷| 国产88av| 国产精品v一区二区三区| 中文字幕制服狠久久日韩二区| 国产精品乱码久久久久久久| 一区二区精品久久|