[發(fā)明專利]結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811142866.0
• 申請日: 2018-09-28
• 公開（公告）號: CN109460420A
• 公開（公告）日: 2019-03-12
• 發(fā)明（設計）人: 王軍平
• 申請（專利權(quán)）人: 北京賽博貝斯數(shù)據(jù)科技有限責任公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215
• 代理公司: 北京冠和權(quán)律師事務所 11399
• 代理人: 朱健;張國香

1.一種結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法，其特征在于，所述結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法包括：

采集需進行知識挖掘的結(jié)構(gòu)化數(shù)據(jù)，并對采集的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)清洗；

根據(jù)目標數(shù)據(jù)特征，對數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)分析，根據(jù)分析結(jié)果構(gòu)建知識挖掘模型；

利用知識挖掘模型，從結(jié)構(gòu)化數(shù)據(jù)中提取出對應的目標信息。

2.如權(quán)利要求1所述的結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法，其特征在于，所述采集需進行知識挖掘的結(jié)構(gòu)化數(shù)據(jù)，并對采集的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)清洗，包括：

從待進行知識挖掘的對應數(shù)據(jù)庫中，采集所有的結(jié)構(gòu)化數(shù)據(jù)；

針對已采集的結(jié)構(gòu)化數(shù)據(jù)，進行數(shù)據(jù)篩選，判斷所述結(jié)構(gòu)化數(shù)據(jù)是否存在缺失；若存在缺失，則根據(jù)預設處理方式，填充缺失字段或者刪除缺失字段；

優(yōu)化篩選后的結(jié)構(gòu)化數(shù)據(jù)，驗證所述結(jié)構(gòu)化數(shù)據(jù)的正確性并對重復的結(jié)構(gòu)化數(shù)據(jù)進行去重處理；

分析優(yōu)化后的結(jié)構(gòu)化數(shù)據(jù)中是否存在異類數(shù)據(jù)；若存在異類數(shù)據(jù)，則對存在的異類數(shù)據(jù)進行修改或者刪除。

3.如權(quán)利要求1或2所述的結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法，其特征在于，所述根據(jù)目標數(shù)據(jù)特征，對數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)分析，根據(jù)分析結(jié)果構(gòu)建知識挖掘模型，包括：

根據(jù)所需的目標數(shù)據(jù)的數(shù)據(jù)特征，將語義推理和機器學習方法相結(jié)合，進行機器學習；

提取出所述目標數(shù)據(jù)中的關(guān)鍵字，并將提取出的關(guān)鍵字與所述結(jié)構(gòu)化數(shù)據(jù)進行對比；

根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)中關(guān)鍵字的出現(xiàn)次數(shù)，計算所述結(jié)構(gòu)化數(shù)據(jù)與所述目標數(shù)據(jù)的相關(guān)度分值，并將得到的相關(guān)度分值與預設門限值進行比較；

若得到的相關(guān)度分值大于或者等于所述預設門限值，則將對應的結(jié)構(gòu)化數(shù)據(jù)作為與所述目標數(shù)據(jù)相關(guān)的內(nèi)容數(shù)據(jù)；若得到的相關(guān)度分值小于所述預設門限值，則將對應的結(jié)構(gòu)化數(shù)據(jù)作為與所述目標數(shù)據(jù)不相關(guān)的內(nèi)容數(shù)據(jù)；

根據(jù)比較結(jié)果，構(gòu)建知識挖掘模型。

4.如權(quán)利要求3所述的結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法，其特征在于，所述根據(jù)比較結(jié)果，構(gòu)建知識挖掘模型，包括：

根據(jù)比較結(jié)果，構(gòu)建多個知識挖掘模型；

利用交叉驗證的測試方法，對構(gòu)建的多個知識挖掘模型進行測試；

根據(jù)測試結(jié)果，對構(gòu)建的知識挖掘模型進行參數(shù)調(diào)優(yōu)；

對參數(shù)調(diào)優(yōu)后的多個知識挖掘模型進行評估；

根據(jù)評估結(jié)果，從構(gòu)建的多個知識挖掘模型中選擇一個最優(yōu)的知識挖掘模型；或者，多個知識挖掘模型進行混合部署。

5.如權(quán)利要求3所述的結(jié)構(gòu)化數(shù)據(jù)的知識挖掘方法，其特征在于，所述根據(jù)比較結(jié)果，構(gòu)建知識挖掘模型，包括：

根據(jù)比較結(jié)果，設計LDA模型的算法，采用分布式及塊分裂技術(shù)，構(gòu)建對應的知識挖掘模型。

6.一種結(jié)構(gòu)化數(shù)據(jù)的知識挖掘系統(tǒng)，其特征在于，所述結(jié)構(gòu)化數(shù)據(jù)的知識挖掘系統(tǒng)包括：

數(shù)據(jù)清洗模塊，用于采集需進行知識挖掘的結(jié)構(gòu)化數(shù)據(jù)，并對采集的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)清洗；

模型構(gòu)建模塊，用于根據(jù)目標數(shù)據(jù)特征，對數(shù)據(jù)清洗后的結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)分析，根據(jù)分析結(jié)果構(gòu)建知識挖掘模型；

知識挖掘模塊，用于利用知識挖掘模型，從結(jié)構(gòu)化數(shù)據(jù)中提取出對應的目標信息。

7.如權(quán)利要求6所述的結(jié)構(gòu)化數(shù)據(jù)的知識挖掘系統(tǒng)，其特征在于，所述數(shù)據(jù)清洗模塊用于：

從待進行知識挖掘的對應數(shù)據(jù)庫中，采集所有的結(jié)構(gòu)化數(shù)據(jù)；

針對已采集的結(jié)構(gòu)化數(shù)據(jù)，進行數(shù)據(jù)篩選，判斷所述結(jié)構(gòu)化數(shù)據(jù)是否存在缺失；若存在缺失，則根據(jù)預設處理方式，填充缺失字段或者刪除缺失字段；

優(yōu)化篩選后的結(jié)構(gòu)化數(shù)據(jù)，驗證所述結(jié)構(gòu)化數(shù)據(jù)的正確性并對重復的結(jié)構(gòu)化數(shù)據(jù)進行去重處理；

分析優(yōu)化后的結(jié)構(gòu)化數(shù)據(jù)中是否存在異類數(shù)據(jù)；若存在異類數(shù)據(jù)，則對存在的異類數(shù)據(jù)進行修改或者刪除。