[發明專利]一種基于深度學習的主題標簽推薦方法及工具

在審

• 申請號: 201910587052.6
• 申請日: 2019-07-01
• 公開（公告）號: CN110297933A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 張雨柔;李銳;于治樓;段強
• 申請（專利權）人: 山東浪潮人工智能研究院有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06F16/78;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

1.一種基于深度學習的主題標簽推薦方法，其特征在于,該方法基于zero-shotlearning思想，利用深度網絡模型的特征提取能力對圖像或視頻片段進行特征提取，利用支持向量機SVM模型對提取的特征進行主題標簽的特征分類，并獲取關于圖像或視頻片段的一個預測主題標簽，利用結合詞嵌入模型word2vec和K近鄰算法對預測主題標簽進行擴展，進而得到與預測主題標簽語義相關的K個主題標簽，預測主題標簽和K個主題標簽作為輸入圖像或視頻片段的最終主題標簽進行標注。

2.根據權利要求1所述的一種基于深度學習的主題標簽推薦方法，其特征在于，利用深度網絡模型的特征提取能力對圖像或視頻片段進行特征提取之前，需要對深度網絡模型的特征提取能力進行訓練，具體操作為：

收集具有標簽的圖像或視頻片段作為訓練集；

利用深度網絡模型對訓練集的圖像或視頻片段進行特征提取；

將深度網絡模型提取的特征作為圖像特征向量輸入支持向量機SVM模型；

支持向量機SVM模型對提取的特征進行主題標簽的特征分類，并獲取關于圖像或視頻片段的一個預測主題標簽；

結合詞嵌入模型word2vec和K近鄰算法對預測主題標簽進行擴展后獲得多個主題標簽；

判斷預測主題標簽與擴展后獲得的多個主題標簽是否相關；

若相關，則繼續訓練下一圖像或視頻片段；

若不相關，則糾正后繼續訓練下一圖像或視頻片段。

3.根據權利要求2所述的一種基于深度學習的主題標簽推薦方法，其特征在于，所述訓練集被均分成三個數據集；

所述深度網絡模型有三個，分別為基于CNN卷積神經網絡的圖像分類模型、基于RNN循環神經網絡的圖像分類模型、基于DNN深度神經網絡的圖像分類模型；

三個圖像分類模型對三個數據集的圖像或視頻片段分別進行特征提取；

將上述三個不同圖像分類網絡提取的三種特征級聯在一起形成新的多維圖像特征向量，多維圖像特征向量輸入支持向量機SVM模型，以圖像或視頻片段原始具有的標簽為參照，生成一個預測主題標簽。

4.根據權利要求1所述的一種基于深度學習的主題標簽推薦方法，其特征在于，所述結合詞嵌入模型word2vec建模了文本之間的相關性關系，所述結合詞嵌入模型word2vec將文本表示轉化為詞向量形式，對于語義相似的文本表示轉化為向量之后將會具有較小的距離，語義不相似的文本表示將具有較大的距離，基于此特征，結合詞嵌入模型word2vec將預測主題標簽投影到詞向量空間，并進一步利用K近鄰算法搜索獲取與該預測主題標簽相似的K個主題標簽作為輸入圖像或視頻片段的最終主題標簽進行標注。

5.根據權利要求4所述的一種基于深度學習的主題標簽推薦方法，其特征在于，利用結合詞嵌入模型word2vec和K近鄰算法對預測主題標簽進行擴展，具體操作包括：

將預測主題標簽通過結合詞嵌入模型word2vec映射到文本向量空間；

采用余弦相似度或歐式距離的方法計算該文本向量與語料庫種其他向量的距離關系；

通過K近鄰方法獲取與當前輸入的預測主題標簽最相近的K個主題標簽；

將這K個主題標簽與支持向量機SVM模型的預測主題標簽作為圖像或視頻片段的最終主題標簽進行標注。

6.根據權利要求5所述的一種基于深度學習的主題標簽推薦方法，其特征在于，所述語料庫定期進行更新，同時，所述語料庫還對結合詞嵌入模型word2vec進行更新。