[發明專利]基于LDA主題模型結合詩詞知識圖譜的詩詞推薦方法

有效

• 申請號: 202110441956.5
• 申請日: 2021-04-23
• 公開（公告）號: CN113127627B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 包致成;彭嶸榕;祁晨草
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/33;G06F16/35;G06F16/36
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 尹均利

本發明公開了基于LDA主題模型結合詩詞知識圖譜的詩詞推薦方法，該方法包括以下步驟：對詩詞數據進行清洗及預處理，并生成Topics與LDA主題模型，同時將詩詞逐個輸入到LDA主題模型中，得到每首詩詞與Topics的相關性；將詩詞或Topics作為圖節點，以詩的固有屬性作為圖中詩詞節點與詩詞節點的邊，以詩詞與Topics的相關性作為詩詞節點與Topics節點的邊融合入已生成的詩詞知識圖譜中；詩詞推薦器根據輸入的詩詞從詩詞知識圖譜中按照詩詞與Topics的相關性及其他詩詞屬性的共同特征查找最相關的詩詞；向用戶輸出推薦詩詞。有益效果：提高了推薦算法在詩詞本文的分析能力及詩詞推薦的準確率。

技術領域

本發明涉及主題模型、推薦方法、詩詞學習、自然語言處理，具體來說，涉及基于LDA主題模型結合詩詞知識圖譜的詩詞推薦方法。

背景技術

目前對于古詩詞的個性化智能推薦系統比較匱乏，絕大多數的詩詞網站也只是對于詩詞內容的簡單展示，而非推薦，所以進行古詩詞推薦方面的研究對于促進中華優秀傳統文化的傳播具有重要意義。

近年來最接近本發明的技術有Word2vec模型：Word2vec是一款用于訓練詞向量的軟件工具，提供了CBOW和Skip-gram兩種模型。結合hierarchy softmax和negativesampling優化技術，Word2vec可以快速高效地將詞語表達成向量。Word2vec本身的特點使其效率變得很高。但是，Word2vec是一種靜態的方式，雖然通用性強，但是無法針對特定任務做動態優化。

為了彌補傳統推薦方法在相關度的上的欠缺，以及由于過大的推薦模型難以在輕量級計算平臺上運行的難題，該方法充分利用知識圖譜與主題模型的優勢，實現了對傳統推薦方法在相關度的進一步提升。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的問題，本發明提出基于LDA主題模型結合詩詞知識圖譜的詩詞推薦方法，以克服現有相關技術所存在的上述技術問題。

為此，本發明采用的具體技術方案如下：

基于LDA主題模型結合詩詞知識圖譜的詩詞推薦方法，該方法包括以下步驟：

S1、通過數據預處理模塊對詩詞數據進行清洗及預處理，且通過LDA主題模型對詩詞數據進行訓練，生成Topics與LDA主題模型，同時將詩詞逐個輸入到LDA主題模型中，得到每首詩詞與Topics的相關性；

S2、將詩詞或Topics作為圖節點，以詩的固有屬性作為圖中詩詞節點與詩詞節點的邊，以詩詞與Topics的相關性作為詩詞節點與Topics節點的邊融合入已生成的詩詞知識圖譜中；

S3、將需要推薦的詩詞輸入詩詞推薦器，詩詞推薦器根據輸入的詩詞從詩詞知識圖譜中按照詩詞與Topics的相關性及其他詩詞屬性的共同特征查找最相關的詩詞，并向用戶輸出推薦詩詞。

進一步的，所述S1中預處理包括詩詞分詞、剔除空數據、無效數據、剔除無情感意義的文字和重復數據；

其中，在數據預處理模塊，使用Jieba分詞將詩詞進行分詞處理，并根據詞語含義將每句詩詞分成多個中文短語，同時將詩詞中含義較弱的單字與詞語使用TF-IDF算法進行剔除。

進一步的，所述S1中通過LDA主題模型對詩詞數據進行訓練，生成Topics包括以下步驟：

使用Jieba分詞將詩詞進行分詞處理并使用TF-IDF算法剔除詩詞集合中含義弱的詞語，并輸入到LDA主題模型中，且LDA主題模型將詩詞進行分類并生成一定數量的Topics；

將詩詞集合依次輸入已經由所有詩詞訓練好的LDA主題模型，并逐個生成所有詩詞與各Topics的相關性。