[發(fā)明專利]一種從海量文本中抽取里程碑事件的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910539127.3
• 申請(qǐng)日: 2019-06-20
• 公開(kāi)（公告）號(hào): CN110245209B
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 王鵬宇;吳漾;羅念華;孔慶波;繆新萍;李文科
• 申請(qǐng)（專利權(quán)）人: 貴州電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06F16/31
• 分類號(hào): G06F16/31;G06F16/35
• 代理公司: 貴陽(yáng)中新專利商標(biāo)事務(wù)所 52100
• 代理人: 胡緒東

本發(fā)明公開(kāi)了一種從海量文本中抽取里程碑事件的方法，該方法包括步驟：（1）在海量文本中抽取文件的文件夾層級(jí)關(guān)聯(lián)信息，通過(guò)樹(shù)形結(jié)構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)；（2）將文件名和文件的路徑名進(jìn)行拼接作為當(dāng)前文件的文本，使用K?Means聚類算法計(jì)算每個(gè)文件的樹(shù)形距離，將具有相同層級(jí)關(guān)系的文件劃分在一起作為初始聚類簇，確定K?Means聚類算法的初始類簇大小；（3）在每一個(gè)聚類簇下進(jìn)行里程碑事件和時(shí)間節(jié)點(diǎn)的抽取，對(duì)抽取結(jié)果做篩選后形成事件的里程碑節(jié)點(diǎn)列表。本發(fā)明在聚類后的每一個(gè)簇中再進(jìn)行里程碑事件和事件節(jié)點(diǎn)的抽取，這樣可以避免相同事件被抽取成多個(gè)子事件后無(wú)法合并的問(wèn)題，同時(shí)也提高了抽取的準(zhǔn)確率以及完整性。

技術(shù)領(lǐng)域

本發(fā)明屬于抽取里程碑事件技術(shù)領(lǐng)域，涉及一種從海量文本中抽取里程碑事件的方法。

背景技術(shù)

現(xiàn)有的信息抽取方法已經(jīng)能夠從文本中抽取事件和時(shí)間的方法，但是基于海量的數(shù)據(jù)而言，相同事件可能存在多篇文檔描述的情況，如果直接對(duì)文檔進(jìn)行事件和時(shí)間的抽取，可能導(dǎo)致相同事件的里程碑節(jié)點(diǎn)信息被分散到多個(gè)事件中去，無(wú)法進(jìn)行聚合，從而無(wú)法抽取到完成的事件里程碑信息。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是：提供一種從海量文本中抽取里程碑事件的方法，以解決現(xiàn)有技術(shù)中存在的問(wèn)題。

本發(fā)明采取的技術(shù)方案為：一種從海量文本中抽取里程碑事件的方法，該方法包括以下步驟：

（1）在海量文本中抽取文件的文件夾層級(jí)關(guān)聯(lián)信息，以文件名、文件夾名為節(jié)點(diǎn)，以層級(jí)關(guān)系為邊，通過(guò)樹(shù)形結(jié)構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)；

（2）將文件名和文件的路徑名進(jìn)行拼接作為當(dāng)前文件的文本，使用K-Means聚類算法，計(jì)算每個(gè)文件的樹(shù)形距離，將具有相同層級(jí)關(guān)系的文件劃分在一起作為初始聚類簇，同時(shí)確定K-Means聚類算法的初始類簇大小；

（3）針對(duì)步驟（2）中獲得的聚類結(jié)果，在每一個(gè)聚類簇下進(jìn)行里程碑事件和時(shí)間節(jié)點(diǎn)的抽取，對(duì)抽取結(jié)果做篩選后形成事件的里程碑節(jié)點(diǎn)列表。

本發(fā)明的有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明首先通過(guò)對(duì)文本聚類，將同一個(gè)事件的不同描述文本聚合在一起，在聚類過(guò)程中，引入了以及存在的文件歸檔信息即文件的文件夾層級(jí)結(jié)構(gòu)信息進(jìn)而提高文檔的聚類結(jié)果。在聚類后的每一個(gè)簇中再進(jìn)行里程碑事件和事件節(jié)點(diǎn)的抽取，這樣可以避免相同事件被抽取成多個(gè)子事件后無(wú)法合并的問(wèn)題，同時(shí)也提高了抽取的準(zhǔn)確率以及完整性。

附圖說(shuō)明

圖1為本發(fā)明的流程示意圖。

具體實(shí)施方式

下面結(jié)合附圖及具體的實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步介紹。

實(shí)施例1：如圖1所示，一種從海量文本中抽取里程碑事件的方法，該方法包括以下步驟：

（1）在海量文本中抽取文件的文件夾層級(jí)關(guān)聯(lián)信息，以文件名、文件夾名為節(jié)點(diǎn)，以層級(jí)關(guān)系為邊，通過(guò)樹(shù)形結(jié)構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)；

（2）將文件名和文件的路徑名進(jìn)行拼接作為當(dāng)前文件的文本，使用K-Means聚類算法，計(jì)算（每個(gè)文件都是樹(shù)的一個(gè)節(jié)點(diǎn)，路徑則為樹(shù)的枝，比如一個(gè)多層文件夾嵌套的文件包，里面有很多文件，第一個(gè)文件夾下存儲(chǔ)的純文件就是第一層，第一個(gè)文件夾中存儲(chǔ)的其他文件夾可以再往下延伸）每個(gè)文件的樹(shù)形距離，將具有相同層級(jí)關(guān)系的文件劃分在一起作為初始聚類簇，同時(shí)確定K-Means聚類算法的初始類簇大小（同一層級(jí)的文件就是同一個(gè)初始簇）；

（3）針對(duì)步驟（2）中獲得的聚類結(jié)果，在每一個(gè)聚類簇下進(jìn)行里程碑事件和時(shí)間節(jié)點(diǎn)的抽取，對(duì)抽取結(jié)果做篩選后形成事件的里程碑節(jié)點(diǎn)列表。