[發(fā)明專利]流式數(shù)據(jù)事件文本專題及檢測(cè)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011566187.3
• 申請(qǐng)日: 2020-12-25
• 公開（公告）號(hào): CN112597269A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 莊旭;袁鑫;賈瑩;尹可鑫;張乾君
• 申請(qǐng)（專利權(quán)）人: 西南電子技術(shù)研究所(中國(guó)電子科技集團(tuán)公司第十研究所)
• 主分類號(hào): G06F16/31
• 分類號(hào): G06F16/31;G06F16/35;G06F16/34;G06F16/951
• 代理公司: 成飛(集團(tuán))公司專利中心 51121
• 代理人: 郭純武

1.一種流式數(shù)據(jù)事件文本專題及檢測(cè)系統(tǒng)，包括：接收信息流的專題檢測(cè)模塊，以及順次串聯(lián)的專題追蹤模塊、事件識(shí)別模塊和事件抽取模塊，連接專題追蹤模塊的關(guān)聯(lián)檢測(cè)模塊，與專題追蹤模塊和事件識(shí)別模塊進(jìn)行信息交換的文本摘要模塊，其特征在于：專題檢測(cè)模塊在沒(méi)有明確專題和事件背景信息作為參考的情況下，自主地分析報(bào)道論述的內(nèi)容，裁決兩篇報(bào)道或兩個(gè)報(bào)道集合是否同屬有一個(gè)專題或事件，設(shè)計(jì)社交媒體流式文本信息處理系統(tǒng)，構(gòu)建專題及事件檢測(cè)算法模型；在對(duì)所有專題事先毫不了解的情況下檢測(cè)信息流和組織系統(tǒng)預(yù)先未知的專題及事件，采用爬蟲技術(shù)從各大網(wǎng)絡(luò)媒體、社交平臺(tái)實(shí)時(shí)地爬取文本數(shù)據(jù)，并對(duì)爬取的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；利用社交媒體流式文本信息處理系統(tǒng)對(duì)清洗后的文本數(shù)據(jù)進(jìn)行處理，區(qū)分文本數(shù)據(jù)所屬專題和事件；專題追蹤模塊以專題為基本單元對(duì)文本進(jìn)行組織，根據(jù)文本摘要模塊提供的文本摘要信息給出專題摘要及關(guān)鍵字信息；關(guān)聯(lián)檢測(cè)模塊檢測(cè)各個(gè)方向的文本，對(duì)同屬一個(gè)專題的文本信息，劃分其事件歸屬，并抽取事件的關(guān)鍵字及結(jié)構(gòu)化信息，利用社交媒體流式文本信息處理系統(tǒng)對(duì)清洗后的文本數(shù)據(jù)進(jìn)行處理，區(qū)分文本數(shù)據(jù)所屬專題和事件，設(shè)置確定長(zhǎng)度的時(shí)間窗，對(duì)時(shí)間窗內(nèi)的文本數(shù)據(jù)利用層次聚類法聚類，并且設(shè)置一個(gè)閾值來(lái)結(jié)束聚類，將檢測(cè)到的專題聚類的結(jié)果送入專題追蹤模塊獲取具有更小粒度的聚類結(jié)果，將聚類結(jié)果送入事件識(shí)別模塊，事件識(shí)別模塊根據(jù)專題追蹤模塊和文本摘要模塊提供的專題或事件流式文本數(shù)據(jù)，采用層次聚類方式進(jìn)行事件識(shí)別，對(duì)聚類時(shí)文本的相似度進(jìn)行唯一的區(qū)別，以專題為基本單元對(duì)文本進(jìn)行組織和文檔級(jí)別的內(nèi)容進(jìn)行編碼，并給出設(shè)計(jì)的專題摘要及事件抽取算法和專題摘要及關(guān)鍵字信息送至事件抽取模塊，對(duì)同屬一個(gè)專題的文本信息，劃分其事件歸屬，并抽取事件的關(guān)鍵字及結(jié)構(gòu)化信息，解析專題及事件的關(guān)鍵信息，基于TF-IWF的領(lǐng)域文檔關(guān)鍵詞快速提取算法和層次聚類方法與增量TF-IWF模型計(jì)算各維度權(quán)重并歸一化處理，通過(guò)記憶機(jī)制進(jìn)行圖路徑擴(kuò)展，得到一個(gè)數(shù)目較多的專題集T。

2.如權(quán)利要求1所述的流式數(shù)據(jù)事件文本專題及檢測(cè)系統(tǒng)，其特征在于：在專題檢測(cè)階段，事件識(shí)別模塊將一個(gè)較高的閾值θ₁輸入事件抽取模塊，通過(guò)傳統(tǒng)層次聚類方法與增量TF-IWF模型，根據(jù)詞語(yǔ)w出現(xiàn)的次數(shù)、詞語(yǔ)w在文本d中出現(xiàn)的次數(shù)tf(d，w)和語(yǔ)料庫(kù)中出現(xiàn)的總的單詞數(shù)目，用詞語(yǔ)逆頻率方式計(jì)算加權(quán)算法TF-IWF計(jì)算得到一個(gè)數(shù)目較多的專題集T。

3.如權(quán)利要求2所述的流式數(shù)據(jù)事件文本專題及檢測(cè)系統(tǒng)，其特征在于：所述加權(quán)算法采用如下公式計(jì)算，

直至?xí)r刻t，

式中，wf_t(w)表示到t時(shí)刻為止的語(yǔ)料庫(kù)中出現(xiàn)的總的單詞數(shù)目。

4.如權(quán)利要求1所述的流式數(shù)據(jù)事件文本專題及檢測(cè)系統(tǒng)，其特征在于：在專題追蹤階段，專題追蹤模塊增加一個(gè)抑制大的專題合并的部分，同時(shí)設(shè)置較小的閾值θ₂，對(duì)應(yīng)的兩個(gè)專題T₁和T₂個(gè)兩個(gè)專題中的文本數(shù)n₁和n₂，計(jì)算取最大的相似度

其中，α為對(duì)余弦值的衰減底數(shù)，n₁和n₂分別為進(jìn)行相似度比較的兩個(gè)專題中的文本數(shù)。

5.如權(quán)利要求4所述的流式數(shù)據(jù)事件文本專題及檢測(cè)系統(tǒng)，其特征在于：專題追蹤模塊取最大的相似度sim_i，j以及對(duì)應(yīng)的兩個(gè)專題T₁和T₂，進(jìn)行相似度比較，針對(duì)兩個(gè)專題中的文本數(shù)n₁、n₂和衰減底數(shù)α，對(duì)最大的相似度sim_i，j進(jìn)行放大處理，計(jì)算出相似度使閾值保持在穩(wěn)定的區(qū)間；若專題追蹤模塊得到的相似度大于閾值θ₂，則合并兩個(gè)專題，形成新的專題T_k，新的專題T_k的向量表示為該專題所有文本向量的均值，若相似度小于閾值θ₂，則輸出專題集。