[發(fā)明專利]一種多類型時(shí)間實(shí)體消岐?dú)w一化處理系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210381687.2
• 申請(qǐng)日: 2022-04-12
• 公開（公告）號(hào): CN114722814A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 于偉;靳雯;趙洲洋;石江楓;王全修;王明超
• 申請(qǐng)（專利權(quán)）人: 北京睿企信息科技有限公司;日照睿安信息科技有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F40/30
• 代理公司: 北京紐樂康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 張朝元

本發(fā)明公開了一種多類型時(shí)間實(shí)體消岐?dú)w一化處理系統(tǒng)，包括時(shí)間實(shí)體標(biāo)準(zhǔn)化組件，用于去除自然語言中的噪音，完成自然語言文本的結(jié)構(gòu)化，并識(shí)別實(shí)體中的年月日信息；事件情報(bào)消岐組件具體包括事件指向日期、事件開始時(shí)間、情報(bào)創(chuàng)建時(shí)間，為三類時(shí)間實(shí)體完成年月日結(jié)構(gòu)化信息后，通過推斷模塊計(jì)算事件的指向日期，進(jìn)而定義事件指向日期輸出格式并完成事件指向日期輸出；標(biāo)準(zhǔn)時(shí)間的歸一化組件為將標(biāo)準(zhǔn)的時(shí)間歸一化為重大節(jié)日、敏感節(jié)點(diǎn)，并完成標(biāo)準(zhǔn)化輸出；本發(fā)明通過時(shí)間預(yù)處理解決警務(wù)文本的數(shù)據(jù)錄入錯(cuò)誤的問題,采用正則和規(guī)則作為主要實(shí)現(xiàn)方式,更節(jié)省CPU、內(nèi)存、顯卡方面的機(jī)器資源。

技術(shù)領(lǐng)域

本發(fā)明涉及處理時(shí)間實(shí)體數(shù)據(jù)技術(shù)領(lǐng)域，具體來說，涉及一種多類型時(shí)間實(shí)體消岐?dú)w一化處理系統(tǒng)及方法。

背景技術(shù)

多類型的時(shí)間實(shí)體包括事件指向日期，事件開始時(shí)間，情報(bào)創(chuàng)建時(shí)間。由于實(shí)體為從自然語言文本中抽取出來，所以對(duì)于時(shí)間的表述有無窮種可能，單單從已抽取的事件指向日期實(shí)體通常無法得到完整“年”、“月”、“日”的結(jié)構(gòu)化日期信息，或者無法獲得正確的事件指向日期，所以需要另外兩類時(shí)間實(shí)體：事件開始時(shí)間與情報(bào)創(chuàng)建時(shí)間，提供輔助信息與完成聯(lián)合驗(yàn)證，最終完成時(shí)間實(shí)體推斷與計(jì)算。

發(fā)明內(nèi)容

針對(duì)相關(guān)技術(shù)中的上述技術(shù)問題，本發(fā)明提出一種多類型時(shí)間實(shí)體消岐?dú)w一化處理系統(tǒng)，能夠克服現(xiàn)有技術(shù)方法的上述不足。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種多類型時(shí)間實(shí)體消岐?dú)w一化處理系統(tǒng)，包括時(shí)間實(shí)體標(biāo)準(zhǔn)化組件模塊、事件情報(bào)消歧組件模塊、標(biāo)準(zhǔn)時(shí)間的歸一化組件模塊，其中，

所述時(shí)間實(shí)體標(biāo)準(zhǔn)化組件模塊，用于去除自然語言中的噪音，完成自然語言文本的結(jié)構(gòu)化，及識(shí)別實(shí)體中的年月日信息，其包含時(shí)間預(yù)處理子模塊、標(biāo)準(zhǔn)時(shí)間正則化子模塊、時(shí)間結(jié)構(gòu)化子模塊；

所述時(shí)間情報(bào)消岐組件模塊，具體包括事件指向日期、事件開始時(shí)間及情報(bào)創(chuàng)建時(shí)間，為通過計(jì)算時(shí)間偏移，推斷事件指向日期，其包含時(shí)間偏移計(jì)算子模塊、時(shí)間組合子模塊；

所述標(biāo)準(zhǔn)時(shí)間的歸一化組件模塊，為將標(biāo)準(zhǔn)的時(shí)間歸一化為重大節(jié)日、敏感節(jié)點(diǎn)完成并標(biāo)準(zhǔn)化輸出。

進(jìn)一步地，所述時(shí)間預(yù)處理子模塊，包括以下步驟：

S21：輸入時(shí)間實(shí)體，對(duì)所有字符完成全角轉(zhuǎn)半角的轉(zhuǎn)換；

S22：再清除字符串中的空白符、非法字符以及預(yù)期助詞；

S23：再將大寫數(shù)字轉(zhuǎn)化為阿拉伯?dāng)?shù)字，對(duì)字符串中出現(xiàn)的各種數(shù)字的表述都轉(zhuǎn)化為阿拉伯?dāng)?shù)字；

S34：對(duì)字符串中出現(xiàn)容易與數(shù)字混淆的字母完成數(shù)字轉(zhuǎn)換。

進(jìn)一步地，所述標(biāo)準(zhǔn)時(shí)間正則化子模塊，通過利用正則表達(dá)式，設(shè)計(jì)特征，提取輸入的標(biāo)準(zhǔn)化時(shí)間中的年月日信息，完成結(jié)構(gòu)化輸出。

進(jìn)一步地，所述時(shí)間結(jié)構(gòu)化子模塊，判斷非結(jié)構(gòu)化的時(shí)間實(shí)體是否為節(jié)假日、標(biāo)準(zhǔn)時(shí)間格式，提取出不標(biāo)準(zhǔn)的格式時(shí)間字符串。

進(jìn)一步地，所述時(shí)間偏移計(jì)算子模塊，進(jìn)行提取計(jì)劃日期plan_date中完整的年月日日期，并判斷分別是否被提取出，若沒有被提取過則計(jì)算并提取該偏移量，若被提取過，最終返回年月日。

另一方面，本發(fā)明還提供了一種多類型時(shí)間實(shí)體消岐?dú)w一化處理方法，包括以下步驟：

S1：首先輸入三類時(shí)間實(shí)體，為時(shí)間實(shí)體為事件指向日期、事件開始時(shí)間及情報(bào)創(chuàng)建時(shí)間，對(duì)三類時(shí)間實(shí)體結(jié)構(gòu)化信息；

S2：所述情報(bào)創(chuàng)建時(shí)間為標(biāo)準(zhǔn)化的時(shí)間格式，通過標(biāo)準(zhǔn)時(shí)間正則化子模塊，完成情報(bào)創(chuàng)建時(shí)間實(shí)體的正則化，輸出情報(bào)創(chuàng)建時(shí)間的年月日信息；