[發明專利]自注意與協同注意機制的標簽推薦模型構建方法及裝置

有效

• 申請號: 202010153562.5
• 申請日: 2020-03-06
• 公開（公告）號: CN111461175B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 李展;王凱凱;徐寶勝;趙國英;王珺;溫超;李斌;彭進業
• 申請（專利權）人: 西北大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06F16/9535;G06F16/958
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 黃小梧

1.一種自注意與協同注意機制的標簽推薦模型構建方法，其特征在于，所述的方法按照以下步驟執行：

步驟1、獲取多組數據以及每組數據對應的標簽，獲得數據集以及標簽集；

所述的每組數據包括圖像數據以及文本數據；

步驟2、對所述的數據集進行預處理，獲得預處理后的數據集；

其中所述的預處理包括統一圖像數據的大??；

步驟3、將所述的預處理后的數據集作為輸入，將所述的標簽集作為參考輸出，訓練神經網絡；

所述的神經網絡包括依次串聯的設置的特征初步提取模塊、特征再提取模塊、特征融合模塊以及分類模塊；

所述的特征初步提取模塊包括并行設置的文本特征提取子模塊以及圖像特征提取子模塊；

所述的特征再提取模塊包括并行設置的第一池化層、第二注意力層以及第二池化層；其中所述的第二注意力層采用并行的協同注意機制；

所述的文本特征提取子模塊的輸出與第一池化層的輸入連接；所述的文本特征提取子模塊的輸出還與第二注意力層的輸入連接；

所述的圖像特征提取子模塊的輸出與第二池化層的輸入連接；所述的圖像特征提取子模塊的輸出還與第二注意力層的輸入連接；

所述的特征融合模塊用于對所述的第一池化層的輸出、第二注意力層的輸出以及第二池化層的輸出進行融合；

獲得標簽推薦模型。

2.如權利要求1所述的自注意與協同注意機制的標簽推薦模型構建方法，其特征在于，所述的文本特征提取子模塊包括依次串聯的文本嵌入層以及第一注意力層。

3.如權利要求2所述的自注意與協同注意機制的標簽推薦模型構建方法，其特征在于，所述的圖像特征提取子模塊為VGG16網絡。

4.一種自注意與協同注意機制的標簽推薦方法，其特征在于，所述的推薦方法按照以下步驟執行：

步驟A、獲取一組待推薦的數據，所述的數據包括圖像數據以及文本數據；

步驟B、將所述的待推薦的數據輸入至權利要求1-3任一項權利要求所述的自注意與協同注意機制的標簽推薦模型構建方法獲得的標簽推薦模型中，獲得推薦結果。

5.一種自注意與協同注意機制的標簽推薦模型構建裝置，其特征在于，所述的裝置包括數據采集模塊、預處理模塊以及模型構建模塊；

所述的數據采集模塊用于獲取多組數據以及每組數據對應的標簽，獲得數據集以及標簽集；

所述的每組數據包括圖像數據以及文本數據；

所述的預處理模塊用于對所述的數據集進行預處理，獲得預處理后的數據集；

其中所述的預處理包括統一圖像數據的大??；

所述的模型構建模塊用于將所述的預處理后的數據集作為輸入，將所述的標簽集作為參考輸出，訓練神經網絡；

所述的神經網絡包括依次串聯的設置的特征初步提取模塊、特征再提取模塊、特征融合模塊以及分類模塊；

所述的特征初步提取模塊包括并行設置的文本特征提取子模塊以及圖像特征提取子模塊；

所述的特征再提取模塊包括并行設置的第一池化層、第二注意力層以及第二池化層；其中所述的第二注意力層采用并行的協同注意機制；

所述的文本特征提取子模塊的輸出與第一池化層的輸入連接；所述的文本特征提取子模塊的輸出還與第二注意力層的輸入連接；

所述的圖像特征提取子模塊的輸出與第二池化層的輸入連接；所述的圖像特征提取子模塊的輸出還與第二注意力層的輸入連接；

所述的特征融合模塊用于對所述的第一池化層的輸出、第二注意力層的輸出以及第二池化層的輸出進行融合；

獲得標簽推薦模型。

6.如權利要求5所述的自注意與協同注意機制的標簽推薦模型構建裝置，其特征在于，所述的文本特征提取子模塊包括依次串聯的文本嵌入層以及第一注意力層。

7.如權利要求6所述的自注意與協同注意機制的標簽推薦模型構建裝置，其特征在于，所述的圖像特征提取子模塊為VGG16網絡。

8.一種自注意與協同注意機制的標簽推薦裝置，其特征在于，所述的裝置包括數據獲取模塊以及如權利要求5-7任一項權利要求所述的自注意與協同注意機制的標簽推薦模型構建裝置；

所述的數據獲取模塊用于獲取一組待推薦的數據，所述的數據包括圖像數據以及文本數據；

所述的自注意與協同注意機制的標簽推薦模型構建裝置用于利用獲得的標簽推薦模型對所述的一組待推薦的數據進行推薦，獲得推薦結果。