[發(fā)明專利]結(jié)構(gòu)化數(shù)據(jù)的知識(shí)挖掘方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811142866.0
• 申請(qǐng)日: 2018-09-28
• 公開（公告）號(hào): CN109460420A
• 公開（公告）日: 2019-03-12
• 發(fā)明（設(shè)計(jì)）人: 王軍平
• 申請(qǐng)（專利權(quán)）人: 北京賽博貝斯數(shù)據(jù)科技有限責(zé)任公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/215
• 代理公司: 北京冠和權(quán)律師事務(wù)所 11399
• 代理人: 朱健;張國(guó)香

本發(fā)明公開了一種結(jié)構(gòu)化數(shù)據(jù)的知識(shí)挖掘方法及系統(tǒng)，通過(guò)采集需進(jìn)行知識(shí)挖掘的結(jié)構(gòu)化數(shù)據(jù)，并對(duì)采集的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；根據(jù)目標(biāo)數(shù)據(jù)特征，對(duì)數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，根據(jù)分析結(jié)果構(gòu)建知識(shí)挖掘模型；利用知識(shí)挖掘模型，從結(jié)構(gòu)化數(shù)據(jù)中提取出對(duì)應(yīng)的目標(biāo)信息；具有根據(jù)具體的知識(shí)挖掘需求構(gòu)建對(duì)應(yīng)的知識(shí)挖掘模型的有益效果，從而提高了知識(shí)挖掘的針對(duì)性和知識(shí)挖掘的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種結(jié)構(gòu)化數(shù)據(jù)的知識(shí)挖掘方法及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展和普及，各種信息呈現(xiàn)了爆炸式增加；若通過(guò)人為的方式來(lái)獲取有用的信息費(fèi)時(shí)費(fèi)力，且非常困難；因此如何從海量的信息中獲取所需要的內(nèi)容并能夠?qū)@取的內(nèi)容以有用的知識(shí)呈現(xiàn)，成為用戶普遍關(guān)注的焦點(diǎn)。現(xiàn)有的針對(duì)海量數(shù)據(jù)進(jìn)行知識(shí)挖掘時(shí)，更側(cè)重根據(jù)已知的知識(shí)預(yù)先進(jìn)行人工模型的建立，然后根據(jù)既定的人工模型進(jìn)行知識(shí)挖掘。這種處理方式由于采用既定的模型進(jìn)行知識(shí)挖掘，在不同應(yīng)用場(chǎng)景中模型的匹配度不高，因此知識(shí)挖掘的效果也不明顯。

發(fā)明內(nèi)容

本發(fā)明提供一種結(jié)構(gòu)化數(shù)據(jù)的知識(shí)挖掘方法及系統(tǒng)，用以根據(jù)具體的知識(shí)挖掘需求構(gòu)建對(duì)應(yīng)的知識(shí)挖掘模型，提高知識(shí)挖掘的針對(duì)性和知識(shí)挖掘的準(zhǔn)確率。

本發(fā)明提供了一種結(jié)構(gòu)化數(shù)據(jù)的知識(shí)挖掘方法，所述結(jié)構(gòu)化數(shù)據(jù)的知識(shí)挖掘方法包括：

采集需進(jìn)行知識(shí)挖掘的結(jié)構(gòu)化數(shù)據(jù)，并對(duì)采集的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；

根據(jù)目標(biāo)數(shù)據(jù)特征，對(duì)數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，根據(jù)分析結(jié)果構(gòu)建知識(shí)挖掘模型；

利用知識(shí)挖掘模型，從結(jié)構(gòu)化數(shù)據(jù)中提取出對(duì)應(yīng)的目標(biāo)信息。

進(jìn)一步地，所述采集需進(jìn)行知識(shí)挖掘的結(jié)構(gòu)化數(shù)據(jù)，并對(duì)采集的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，包括：

從待進(jìn)行知識(shí)挖掘的對(duì)應(yīng)數(shù)據(jù)庫(kù)中，采集所有的結(jié)構(gòu)化數(shù)據(jù)；

針對(duì)已采集的結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行數(shù)據(jù)篩選，判斷所述結(jié)構(gòu)化數(shù)據(jù)是否存在缺失；若存在缺失，則根據(jù)預(yù)設(shè)處理方式，填充缺失字段或者刪除缺失字段；

優(yōu)化篩選后的結(jié)構(gòu)化數(shù)據(jù)，驗(yàn)證所述結(jié)構(gòu)化數(shù)據(jù)的正確性并對(duì)重復(fù)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行去重處理；

分析優(yōu)化后的結(jié)構(gòu)化數(shù)據(jù)中是否存在異類數(shù)據(jù)；若存在異類數(shù)據(jù)，則對(duì)存在的異類數(shù)據(jù)進(jìn)行修改或者刪除。

進(jìn)一步地，所述根據(jù)目標(biāo)數(shù)據(jù)特征，對(duì)數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，根據(jù)分析結(jié)果構(gòu)建知識(shí)挖掘模型，包括：

根據(jù)所需的目標(biāo)數(shù)據(jù)的數(shù)據(jù)特征，將語(yǔ)義推理和機(jī)器學(xué)習(xí)方法相結(jié)合，進(jìn)行機(jī)器學(xué)習(xí)；

提取出所述目標(biāo)數(shù)據(jù)中的關(guān)鍵字，并將提取出的關(guān)鍵字與所述結(jié)構(gòu)化數(shù)據(jù)進(jìn)行對(duì)比；

根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)中關(guān)鍵字的出現(xiàn)次數(shù)，計(jì)算所述結(jié)構(gòu)化數(shù)據(jù)與所述目標(biāo)數(shù)據(jù)的相關(guān)度分值，并將得到的相關(guān)度分值與預(yù)設(shè)門限值進(jìn)行比較；

若得到的相關(guān)度分值大于或者等于所述預(yù)設(shè)門限值，則將對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)作為與所述目標(biāo)數(shù)據(jù)相關(guān)的內(nèi)容數(shù)據(jù)；若得到的相關(guān)度分值小于所述預(yù)設(shè)門限值，則將對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)作為與所述目標(biāo)數(shù)據(jù)不相關(guān)的內(nèi)容數(shù)據(jù)；

根據(jù)比較結(jié)果，構(gòu)建知識(shí)挖掘模型。

進(jìn)一步地，所述根據(jù)比較結(jié)果，構(gòu)建知識(shí)挖掘模型，包括：

根據(jù)比較結(jié)果，構(gòu)建多個(gè)知識(shí)挖掘模型；

利用交叉驗(yàn)證的測(cè)試方法，對(duì)構(gòu)建的多個(gè)知識(shí)挖掘模型進(jìn)行測(cè)試；

根據(jù)測(cè)試結(jié)果，對(duì)構(gòu)建的知識(shí)挖掘模型進(jìn)行參數(shù)調(diào)優(yōu)；

對(duì)參數(shù)調(diào)優(yōu)后的多個(gè)知識(shí)挖掘模型進(jìn)行評(píng)估；