[發明專利]一種流式數據主題挖掘方法及其系統

有效

• 申請號: 201711193285.5
• 申請日: 2017-11-24
• 公開（公告）號: CN107992474B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 王麗宏;劉哲;馬宏遠;彭浩;聶健;孫佩源;袁石;劉瑋;賀敏;王博
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/284;G06F16/2458;G06F16/215
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 陳英

1.一種流式數據主題挖掘方法，其特征在于，包括：

根據主題核心詞集合對結構化數據進行篩選，得到主題數據，提取所述主題數據的主題實體和主題關鍵詞，分別生成主題實體集合和主題關鍵詞集合；

提取候選新聞數據的新聞實體和新聞關鍵詞，分別生成新聞實體集合和新聞關鍵詞集合；

根據所述新聞實體集合、新聞關鍵詞集合、主題實體集合、主題關鍵詞集合和主題核心詞集合分別得到實體相關度、關鍵詞相關度和核心詞相關度；

根據實體相關度、關鍵詞相關度和核心詞相關度得到所述候選新聞數據與所述主題數據的新聞主題相似度，并將所述新聞主題相似度大于預設閾值的所述候選新聞數據導入合格新聞數據集合；

其中，所述根據主題核心詞集合對所述結構化數據進行篩選，得到主題數據之前，該挖掘方法還包括：

對接收到的流式數據進行數據清洗、數據補齊和黑白名單過濾操作，得到屬性一致的所述結構化數據，并進行分布式存儲。

2.根據權利要求1所述的一種流式數據主題挖掘方法，其特征在于，所述提取候選新聞數據的新聞實體和新聞關鍵詞，分別生成新聞實體集合和新聞關鍵詞集合之前，該挖掘方法還包括：

根據主題核心詞集合對新聞數據進行倒排索引過濾，得到相關新聞數據；

根據所述主題數據對所述相關新聞數據進行局部敏感哈希過濾，得到所述候選新聞數據。

3.根據權利要求1或2所述的一種流式數據主題挖掘方法，其特征在于，通過命名實體識別提取所述主題數據的主題實體包括的主題數據的發生地和參與者，得到主題數據的發生地和參與者集合；提取所述候選新聞數據的新聞實體包括的新聞的發生地和參與者，得到新聞的發生地和參與者集合；實體相關度包括：發生地相關度和參與者相關度；

所述發生地相關度的計算公式為：

其中，Sim_loc為主題數據與候選新聞數據的發生地相關度；loc_T為主題數據的發生地；loc_N為新聞的發生地；

所述參與者相關度的計算公式為：

其中，Sim_par為主題數據與新聞的參與者相關度；par_i為主題數據的參與者集合；par_j為新聞的參與者集合；

所述核心詞相關度的計算公式為：

其中，Sim_core為主題數據與候選新聞數據的核心詞相關度；core為主題核心詞集合；keyw為新聞關鍵詞集合；

所述關鍵詞相關度的計算公式為：

Sim_relw＝cos(v_T,v_N)；

其中，Sim_relw為主題數據與候選新聞數據的關鍵詞相關度；wt_i為主題關鍵詞集合中的第i個主題關鍵詞的詞向量；wn_i為新聞關鍵詞集合中的第i個新聞關鍵詞的詞向量；t為所述主題關鍵詞集合的主題關鍵詞的數量；n為所述新聞關鍵詞集合的新聞關鍵詞的數量；v_T為主題關鍵詞集合的平均詞向量；v_N為新聞關鍵詞集合的平均詞向量。

4.根據權利要求3所述的一種流式數據主題挖掘方法，其特征在于，所述根據實體相關度、關鍵詞相關度和核心詞相關度得到所述候選新聞數據與所述主題數據的新聞主題相似度的主題與新聞關系評價公式為：

F＝α·Sim_core+β·Sim_loc+γ·Sim_par+ω·Sim_relw；

其中，F為所述新聞數據的與所述主題數據的相似度；α、β、γ和ω為權重比系數；α+β+γ＝1；α，β，γ0。