[發明專利]重點輿情推薦方法、可讀存儲介質及數據處理裝置

在審

• 申請號: 202110088158.9
• 申請日: 2021-01-22
• 公開（公告）號: CN112749341A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 高峰;賀成龍;楊陽朝;梁增玉;李惠柯;湯世松;劉蟄
• 申請（專利權）人: 南京萊斯網信技術研究院有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9536;G06F16/22;G06F40/30;G06F40/44;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

1.一種重點輿情推薦方法，其特征在于，包括：

步驟1，以每小時為時間間隔，通過大數據和文檔主題生成模型處理百萬級互聯網數據，獲得熱點主題和與所述熱點主題對應的關鍵詞；

步驟2，根據所述熱點主題和關鍵詞，拓展所述互聯網數據生成熱點領域短句庫，使用文本語義相似模型分析文章的熱點領域話題占比，完成熱點領域推薦；

步驟3，根據新聞媒體的熱度評級，篩選獲得高熱度評級的新聞數據；

步驟4，根據微博媒體傳播分值和熱度分值，篩選獲得高熱度值的微博數據；

步驟5，根據個性化用戶詞典拓展生成個性化短句庫，訓練所述文本語義相似模型分析文章的個性化內容占比，完成個性化定制推薦；

步驟6，根據所述熱點領域推薦、高熱度值的新聞數據、高熱度值的微博數據和個性化定制推薦，實時推送熱點文章。

2.根據權利要求1所述的一種重點輿情推薦方法，其特征在于，所述步驟1包括：

步驟1-1，通過所述大數據搜集、存儲并處理每小時內百萬級的互聯網數據，所述互聯網數據的數據源包含爬蟲爬取的重點網站數據和外包合作數據；

所述通過大數據搜集、存儲并處理每小時內百萬級的互聯網數據，通過存儲管理和框架算法實現；

其中，所述存儲管理即采用面向列族的NoSQL數據庫HBase，對所述互聯網數據進行持久化存儲；所述框架算法包含分布式離線批量計算技術、分布式內存迭代計算技術和分布式流式處理計算技術，所述框架算法分別使用MapReduce、Spark和Storm技術；

步驟1-2，通過所述文檔主題生成模型處理互聯網數據，包括對所述互聯網數據進行分詞，計算每個所述互聯網數據文檔中每個單詞的詞頻，得到下列等式左邊的p(詞語|文檔)概率矩陣，所述文檔主題生成模型即通過下列等式左邊的矩陣進行訓練，學習獲得右邊兩個矩陣，最終學習出詞語和主題的關系，即關鍵詞和熱點主題的關系：

其中，p(詞語|文檔)矩陣表示每個文檔中每個單詞的詞頻，即每個單詞在文檔中出現的概率；p(詞語|主題)矩陣表示每個主題中每個詞語的出現概率；p(主題|文檔)矩陣表示每個文檔中每個主題的出現概率；

步驟1-3，通過所述文檔主題生成模型以及預設主題數，獲得文檔中的熱點主題和與所述熱點主題對應的詞語集合，篩選每個所述詞語集合中出現頻率最高的詞語作為熱點主題的關鍵詞。

3.根據權利要求2所述的一種重點輿情推薦方法，其特征在于，所述步驟1-3包括：在生成與所述熱點主題對應的詞語集合時，若兩個熱點主題的詞語集合中出現4個或4個以上詞語相同時，則認為所述兩個熱點主題是同一熱點主題，將所述兩個熱點主題合并，并將所述兩個熱點主題對應的詞語集合合并。

4.根據權利要求1所述的一種重點輿情推薦方法，其特征在于，所述步驟2包括：

步驟2-1，根據所述熱點主題和關鍵詞，對存儲的每個小時內百萬級的互聯網數據進行正則化匹配，拓展獲得所述熱點主題所在領域的文本數據，生成所述熱點領域短句庫，所述熱點領域短句庫是以短句為單位的文本數據集合，所述短句為包含各個熱點主題的語句；所述熱點領域短句庫作為訓練集，使用bert預訓練模型獲得對應句子嵌入向量；

步驟2-2，使用訓練獲得的熱點領域短句庫的句子嵌入向量以及KNN相似判別模型，分析互聯網實時數據中的一篇文章中各句子所屬的熱點領域類別，若所述預測的文章中各句子所屬的某一熱點領域類別占比最多或者占比高于句子總數目的30％，推送所述預測的文章至該熱點領域類別的板塊中，完成熱點領域推薦。