[發(fā)明專利]自注意與協(xié)同注意機(jī)制的標(biāo)簽推薦模型構(gòu)建方法及裝置

有效

• 申請?zhí)枺?/td>: 202010153562.5
• 申請日: 2020-03-06
• 公開（公告）號: CN111461175B
• 公開（公告）日: 2023-02-10
• 發(fā)明（設(shè)計）人: 李展;王凱凱;徐寶勝;趙國英;王珺;溫超;李斌;彭進(jìn)業(yè)
• 申請（專利權(quán)）人: 西北大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06F16/9535;G06F16/958
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 黃小梧

本發(fā)明公開了一種自注意與協(xié)同注意機(jī)制的標(biāo)簽推薦模型構(gòu)建方法及裝置，通過VGG16網(wǎng)絡(luò)提取圖像的特征；使用WordEmbedding技術(shù)對文本進(jìn)行詞嵌入，并使用低層次的自注意力層代替LSTM提取文本特征。然后將圖像特征和文本特征輸入到高層次的協(xié)同注意力層，讓圖像特征和文本特征相互引導(dǎo)，獲得圖像和文本的注意力權(quán)重，基于注意力權(quán)重，分別與圖像和文本特征進(jìn)行相乘，最后獲得圖像和文本的注意力；為了讓圖像和文本的注意力信息更加豐富，我們對圖像特征和文本特征進(jìn)行平均池化。最后將這些特征進(jìn)行融合送入到分類器中，進(jìn)行標(biāo)簽分類和推薦；本發(fā)明采用自注意力與協(xié)同注意力機(jī)制結(jié)合的方法，提高了標(biāo)簽推薦的準(zhǔn)確性以及效率。

技術(shù)領(lǐng)域

本發(fā)明涉及推薦方法及裝置，具體涉及一種自注意與協(xié)同注意機(jī)制的標(biāo)簽推薦模型構(gòu)建方法及裝置。

背景技術(shù)

近年來隨著社交媒體的快速發(fā)展，例如推特和新浪微博，越來越流行，并成為非常重要的社交網(wǎng)絡(luò)和新聞媒體。然而，雖然每天會產(chǎn)生大量的微博，但是只有少數(shù)微博會被用戶標(biāo)記標(biāo)簽。因此，標(biāo)簽推薦受到了廣泛關(guān)注。同時有研究者根據(jù)在Twitter上檢索到的數(shù)據(jù)，觀察到超過30％的tweet不僅包含文本，還包含圖像。因此，通過只使用文本信息的方法來正確地推薦標(biāo)簽并不容易。所以多模態(tài)標(biāo)簽推薦，是近年來人工智能、推薦系統(tǒng)等領(lǐng)域一個非常熱門的研究方向。其目的是利用多模態(tài)的信息，提高標(biāo)簽推薦的準(zhǔn)確性，多模態(tài)的標(biāo)簽推薦無論在工業(yè)界還是學(xué)術(shù)界都有著廣泛的研究需求與應(yīng)用場景。如果能夠借助于人工智能和深度學(xué)習(xí)的技術(shù)，實(shí)現(xiàn)低成本高性能的多模態(tài)標(biāo)簽推薦，那么無論對于學(xué)術(shù)界，還是工業(yè)界而言，都有著非常重要的意義。

傳統(tǒng)的推薦算法，僅僅考慮單模態(tài)(圖像或文本)的信息。近年來，隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)算法以及注意力機(jī)制的廣泛應(yīng)用，為多模態(tài)標(biāo)簽推薦帶來了新的研究方向。大量針對多模態(tài)特征的算法被提出，促進(jìn)了該領(lǐng)域的快速發(fā)展。然而，以前標(biāo)簽推薦研究方法大多是基于遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)的。盡管取得了成功，但由于RNNs的順序特性，這些模型通常會消耗很多時間，并且在處理長距離的依賴的問題方面存在困難。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種自注意與協(xié)同注意機(jī)制的標(biāo)簽推薦模型構(gòu)建方法及裝置，用以解決現(xiàn)有技術(shù)中的推薦方法及裝置存在的模型運(yùn)行時間長，并且在處理長距離的依賴的問題方面存在困難，從而造成推薦效果不好的問題。

為了實(shí)現(xiàn)上述任務(wù)，本發(fā)明采用以下技術(shù)方案：

一種自注意與協(xié)同注意機(jī)制的標(biāo)簽推薦模型構(gòu)建方法，所述的方法按照以下步驟執(zhí)行：

步驟1、獲取多組數(shù)據(jù)以及每組數(shù)據(jù)對應(yīng)的標(biāo)簽，獲得數(shù)據(jù)集以及標(biāo)簽集；

所述的每組數(shù)據(jù)包括圖像數(shù)據(jù)以及文本數(shù)據(jù)；

步驟2、對所述的數(shù)據(jù)集進(jìn)行預(yù)處理，獲得預(yù)處理后的數(shù)據(jù)集；

其中所述的預(yù)處理包括統(tǒng)一圖像數(shù)據(jù)的大小；

步驟3、將所述的預(yù)處理后的數(shù)據(jù)集作為輸入，將所述的標(biāo)簽集作為參考輸出，訓(xùn)練神經(jīng)網(wǎng)絡(luò)；

所述的神經(jīng)網(wǎng)絡(luò)包括依次串聯(lián)的設(shè)置的特征初步提取模塊、特征再提取模塊、特征融合模塊以及分類模塊；

所述的特征初步提取模塊包括并行設(shè)置的文本特征提取子模塊以及圖像特征提取子模塊；

所述的特征再提取模塊包括并行設(shè)置的第一池化層、第二注意力層以及第二池化層；其中所述的第二注意力層采用并行的協(xié)同注意機(jī)制；

所述的文本特征提取子模塊的輸出與第一池化層的輸入連接；所述的文本特征提取子模塊的輸出還與第二注意力層的輸入連接；

所述的圖像特征提取子模塊的輸出與第二池化層的輸入連接；所述的圖像特征提取子模塊的輸出還與第二注意力層的輸入連接；