[發(fā)明專利]基于決策樹的大數(shù)據(jù)分析方法

有效

• 申請?zhí)枺?/td>: 201711309287.6
• 申請日: 2017-12-11
• 公開（公告）號: CN108052587B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計）人: 徐帥
• 申請（專利權(quán)）人: 成都逸重力網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22
• 代理公司: 成都行之智信知識產(chǎn)權(quán)代理有限公司 51256
• 代理人: 李凌

本發(fā)明公開了基于決策樹的大數(shù)據(jù)分析方法，包括以下步驟：S1：建立多層決策樹；S2：提取至少兩個有對應(yīng)關(guān)系的數(shù)據(jù)作為數(shù)據(jù)組，并提取數(shù)據(jù)組的信息熵；S3：循環(huán)執(zhí)行S2直至大數(shù)據(jù)庫中大于閾值數(shù)量的數(shù)據(jù)都使用過；S4：對數(shù)據(jù)組進行聚類分析，將同一類型的數(shù)據(jù)組劃入決策樹的同一層，使得多層決策樹的層級關(guān)系明確。本發(fā)明基于決策樹的大數(shù)據(jù)分析方法，通過建立決策樹，并通過聚類的方法將決策樹的層級關(guān)系進行明確，利用決策樹和信息熵相結(jié)合的方法，使得大數(shù)據(jù)可以從多個層面上得到分析，提高了分析結(jié)果的準確度，并且對于新加入的數(shù)據(jù)，可以直接帶入決策樹中，分析速度大幅提高，進而的提高了政府的判斷能力和運作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析領(lǐng)域，具體涉及基于決策樹的大數(shù)據(jù)分析方法。

背景技術(shù)

大數(shù)據(jù)，指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的特點是數(shù)據(jù)量大、數(shù)據(jù)種類多、要求實時性強、數(shù)據(jù)所蘊藏的價值大。在各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。

目前為了了解民生情況，政府部門收集大量的大數(shù)據(jù)，但是只能從單一層面上對大數(shù)據(jù)進行分析，這種分析結(jié)果無法全面反映人民需求，同時對新加入的數(shù)據(jù)還需要重新進行全面分析才可以使用，嚴重影響了政府機構(gòu)判斷和運作效率。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是為了了解民生情況，政府部門收集大量的大數(shù)據(jù)，但是只能從單一層面上對大數(shù)據(jù)進行分析，這種分析結(jié)果無法全面反映人民需求，同時對新加入的數(shù)據(jù)還需要重新進行全面分析才可以使用，嚴重影響了政府判斷和運作效率，目的在于提供基于決策樹的大數(shù)據(jù)分析方法，解決上述問題。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：

基于決策樹的大數(shù)據(jù)分析方法，包括以下步驟：S1：建立多層決策樹；S2：提取至少兩個有對應(yīng)關(guān)系的數(shù)據(jù)作為數(shù)據(jù)組，并提取數(shù)據(jù)組的信息熵；S3：循環(huán)執(zhí)行S2直至大數(shù)據(jù)庫中大于閾值數(shù)量的數(shù)據(jù)都使用過；S4：對數(shù)據(jù)組進行聚類分析，將同一類型的數(shù)據(jù)組劃入決策樹的同一層，使得多層決策樹的層級關(guān)系明確；S5：以層級關(guān)系明確后的多層決策樹對新加入的數(shù)據(jù)進行分析。

現(xiàn)有技術(shù)中，為了了解民生情況，政府部門收集大量的大數(shù)據(jù)，但是只能從單一層面上對大數(shù)據(jù)進行分析，這種分析結(jié)果無法全面反映人民需求，同時對新加入的數(shù)據(jù)還需要重新進行全面分析才可以使用，嚴重影響了政府判斷和運作效率。本發(fā)明應(yīng)用時，先建立多層決策樹；再提取至少兩個有對應(yīng)關(guān)系的數(shù)據(jù)作為數(shù)據(jù)組，并提取數(shù)據(jù)組的信息熵；然后循環(huán)執(zhí)行S2直至大數(shù)據(jù)庫中大于閾值數(shù)量的數(shù)據(jù)都使用過；然后對數(shù)據(jù)組進行聚類分析，將同一類型的數(shù)據(jù)組劃入決策樹的同一層，使得多層決策樹的層級關(guān)系明確；再然后以層級關(guān)系明確后的多層決策樹對新加入的數(shù)據(jù)進行分析。本發(fā)明通過建立決策樹，并通過聚類的方法將決策樹的層級關(guān)系進行明確，利用決策樹和信息熵相結(jié)合的方法，使得大數(shù)據(jù)可以從多個層面上得到分析，提高了分析結(jié)果的準確度，并且對于新加入的數(shù)據(jù)，可以直接帶入決策樹中，分析速度大幅提高，進而的提高了政府的判斷能力和運作效率。

進一步的，步驟S4包括以下子步驟：設(shè)置聚類密度和聚類半徑；所述聚類半徑對應(yīng)數(shù)據(jù)組的信息熵。

進一步的，所述多層決策樹至少有三層。

進一步的，所述閾值數(shù)量為70％～80％。

進一步的，步驟S5包括以下子步驟：S51：將新加入的數(shù)據(jù)填入決策樹的第一層；S52：根據(jù)決策樹的層級關(guān)系將數(shù)據(jù)映射入決策樹的下一層；S53：重復(fù)執(zhí)行S52直至數(shù)據(jù)抵達決策樹的最后一層；S54：以決策樹最后一層的結(jié)果作為數(shù)據(jù)分析的最終結(jié)果。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點和有益效果：