[發(fā)明專利]一種新事件主題提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010541567.5
• 申請(qǐng)日: 2020-06-15
• 公開(kāi)（公告）號(hào): CN111597328B
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 云紅艷;賀英;張秀華;李正民
• 申請(qǐng)（專利權(quán)）人: 青島大學(xué)
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06F16/33;G06F40/242;G06F40/258;G06F40/289;G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 青島高曉專利事務(wù)所(普通合伙) 37104
• 代理人: 于正河

本發(fā)明屬于網(wǎng)絡(luò)信息技術(shù)領(lǐng)域，涉及一種新事件主題提取方法，基于BERT對(duì)新聞事件文本數(shù)據(jù)集進(jìn)行向量化表示，其上下文的聯(lián)系更密切，表達(dá)方式更準(zhǔn)確，而且利用注意力機(jī)制的雙向長(zhǎng)短記憶網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)中的大數(shù)據(jù)量的新聞文本進(jìn)行學(xué)習(xí)，用以發(fā)現(xiàn)新事件，實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效準(zhǔn)確利用，采用有監(jiān)督和無(wú)監(jiān)督方法結(jié)合的方式，比單一的方式更有效率，其方法簡(jiǎn)單，能夠深層次提取語(yǔ)義信息，可以對(duì)網(wǎng)絡(luò)中的新聞文本進(jìn)行分析與挖掘，實(shí)現(xiàn)新事件的發(fā)現(xiàn)，有利于相關(guān)監(jiān)管部門(mén)及個(gè)人用戶對(duì)新事件的實(shí)時(shí)掌控，便于后續(xù)的工作。

技術(shù)領(lǐng)域：

本發(fā)明屬于網(wǎng)絡(luò)信息技術(shù)領(lǐng)域，涉及一種新事件主題提取方法，特別是一種基于BERT和注意力機(jī)制的雙向長(zhǎng)短記憶網(wǎng)絡(luò)訓(xùn)練新事件發(fā)現(xiàn)模型和多特征融合的主題建模分析提取新事件主題的方法。

背景技術(shù)：

伴隨著大數(shù)據(jù)時(shí)代互聯(lián)網(wǎng)的發(fā)展，人們被大量來(lái)源廣泛的新聞信息環(huán)繞，比如報(bào)紙、網(wǎng)絡(luò)等，其中新聞最常見(jiàn)的載體是文本，文本是最容易獲取有價(jià)值信息的方式。由于不同來(lái)源產(chǎn)生的新聞信息方式各種各樣，新聞文本的格式和蘊(yùn)含的信息也往往雜亂無(wú)章，同時(shí)產(chǎn)生新聞信息的數(shù)量也極其龐大，完全依賴人工實(shí)現(xiàn)中文新聞事件的檢測(cè)是幾乎不可能的。同時(shí)，網(wǎng)絡(luò)中的大量文本包含著人們對(duì)某一個(gè)事件的關(guān)注程度以及影響，因此針對(duì)網(wǎng)絡(luò)新聞文本進(jìn)行挖掘研究有利于盡早發(fā)現(xiàn)熱點(diǎn)關(guān)注事件。

目前熱點(diǎn)新聞事件的發(fā)現(xiàn)方法多基于人工監(jiān)控的方法，此方法在網(wǎng)絡(luò)中的新聞事件發(fā)現(xiàn)監(jiān)測(cè)中需要較高的資源成本，包括以計(jì)算機(jī)為輔助的方法從網(wǎng)絡(luò)中獲取數(shù)據(jù)，再由人工檢查的方法同樣也費(fèi)時(shí)費(fèi)力。隨著機(jī)器學(xué)習(xí)的興起，目前普遍采用的事件發(fā)現(xiàn)方法是根據(jù)聚類的方法實(shí)現(xiàn)，此方法對(duì)新聞文本進(jìn)行聚類發(fā)現(xiàn)新事件，但是其在新事件發(fā)現(xiàn)方面精度不高，易造成錯(cuò)誤識(shí)別。隨著神經(jīng)網(wǎng)絡(luò)的興起，其在各個(gè)領(lǐng)域都取得了巨大的成就，神經(jīng)網(wǎng)絡(luò)不僅克服了人工構(gòu)建特征的局限，而且對(duì)于大數(shù)據(jù)其更適用。CN201810696452.6提供了一種面向領(lǐng)域的中文文本主題句生成方法，其特征在于，包括以下步驟：面向領(lǐng)域文本數(shù)據(jù)集，建立相應(yīng)的領(lǐng)域知識(shí)圖譜，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)文本進(jìn)行語(yǔ)義信息抽取，按照主題句式對(duì)文本進(jìn)行分類，最終生成文本的主題句，該方法通過(guò)創(chuàng)建領(lǐng)域知識(shí)圖譜的方法獲得數(shù)據(jù)集概念模型和內(nèi)容敘述模式特性，并利用深度學(xué)習(xí)模型對(duì)文本數(shù)據(jù)進(jìn)行標(biāo)注和分類訓(xùn)練，進(jìn)而生成出文本的主題句，實(shí)現(xiàn)基于知識(shí)的查詢和統(tǒng)計(jì)。但是該方法還存在以下不足：首先，該方法只能面向特定的領(lǐng)域數(shù)據(jù)集，并不適用于各領(lǐng)域通用數(shù)據(jù)集；其次，該方法需要?jiǎng)?chuàng)建領(lǐng)域知識(shí)圖譜，此方式資源開(kāi)銷巨大且需要高度的專業(yè)素養(yǎng)；最后，該方法利用深度學(xué)習(xí)方法對(duì)文本數(shù)據(jù)進(jìn)行標(biāo)注和分類，此操作只能針對(duì)特定領(lǐng)域，面對(duì)新領(lǐng)域新數(shù)據(jù)模型表現(xiàn)較差。因此，需要提供一種新事件主題提取方法，采用深度學(xué)習(xí)方法，實(shí)現(xiàn)新事件的發(fā)現(xiàn)，并利用主題建模的方法實(shí)現(xiàn)新事件的主題提取。

發(fā)明內(nèi)容：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的缺點(diǎn)，設(shè)計(jì)提供一種基于BERT和注意力機(jī)制的雙向長(zhǎng)短記憶網(wǎng)絡(luò)訓(xùn)練新事件發(fā)現(xiàn)模型和多特征融合的主題建模分析提取新事件主題的方法，利用深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)海量文本數(shù)據(jù)的挖掘與處理，實(shí)現(xiàn)高效準(zhǔn)確分析利用文本數(shù)據(jù)。

為了實(shí)現(xiàn)上述的目標(biāo)，本發(fā)明實(shí)現(xiàn)新事件主題提取的過(guò)程包括以下步驟：

步驟1：根據(jù)事件關(guān)鍵詞獲取新聞事件文本數(shù)據(jù)流，根據(jù)獲取的新聞事件文本數(shù)據(jù)流，構(gòu)建新聞事件文本數(shù)據(jù)集，文本中的每一條記錄包括新聞文本的事件類型標(biāo)簽以及事件的具體文本描述，并將新聞事件文本數(shù)據(jù)集劃分訓(xùn)練集Train、驗(yàn)證集Val和測(cè)試集Test；

步驟2：對(duì)步驟1劃分的訓(xùn)練集Train、驗(yàn)證集Val和測(cè)試集Test，以BERT表示模型為基礎(chǔ)，，輸出高維稠密向量表示，得到新聞事件文本數(shù)據(jù)集的高維稠密向量表示，其中BERT表示模型的模型層數(shù)為12，隱藏大小為768，注意力頭為12；

步驟3：將步驟2獲得的新聞事件文本數(shù)據(jù)集的高維稠密向量表示作為輸入，根據(jù)訓(xùn)練集Train、驗(yàn)證集Val，采用Xavier進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)初始化，采用dropout策略以梯度下降的方法作為神經(jīng)網(wǎng)絡(luò)參數(shù)及輸入特征向量的更新，得到新事件發(fā)現(xiàn)模型；