[發(fā)明專利]基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010217644.1
• 申請日: 2020-03-25
• 公開（公告）號: CN111597172A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設(shè)計(jì)）人: 陳國賢;丁學(xué)利;賈晨宇;裴曉宇
• 申請（專利權(quán)）人: 北京夢天門科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/248;G06F16/25;G06F16/23;G06F16/29
• 代理公司: 北京佐行專利代理事務(wù)所(特殊普通合伙) 11683
• 代理人: 王占愈;劉鵬

1.一種基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于，包括：

數(shù)據(jù)清洗模塊，所述數(shù)據(jù)清洗模塊用于對數(shù)據(jù)庫的原始數(shù)據(jù)清洗，對數(shù)據(jù)進(jìn)行ETL操作；

檢查表模塊，所述檢查表模塊用于維護(hù)檢查表數(shù)據(jù)，所述檢查表為執(zhí)法檢查表或管理檢查表，檢查表由多個(gè)檢查項(xiàng)組成；

維度表模塊，所述維度表模塊用于維護(hù)維度表數(shù)據(jù)，所述維度表由多個(gè)數(shù)據(jù)維度項(xiàng)組成；

數(shù)據(jù)分析處理模塊，所述數(shù)據(jù)分析處理模塊針對數(shù)據(jù)清洗模塊、檢查表模塊、維度表模塊中數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，從數(shù)據(jù)清洗模塊生成的數(shù)據(jù)中提取有效數(shù)據(jù)，向數(shù)據(jù)展示模塊提供數(shù)據(jù)支持；并對檢查表模塊、維度表模塊進(jìn)行數(shù)據(jù)更新；

數(shù)據(jù)展示模塊，所述數(shù)據(jù)展示模塊用于對分析處理后的數(shù)據(jù)進(jìn)行展示。

2.根據(jù)權(quán)利要求1所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：所述檢查表模塊，可根據(jù)監(jiān)督處罰結(jié)果進(jìn)行分析，統(tǒng)計(jì)整理出新的檢查項(xiàng)，錄入檢查表。

3.根據(jù)權(quán)利要求1所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：所述維度表模塊，可根據(jù)監(jiān)督處罰結(jié)果進(jìn)行分析，分析出新的數(shù)據(jù)維度項(xiàng)，錄入維度表。

4.根據(jù)權(quán)利要求2所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：所述檢查表模塊，可基于Apriori算法處理數(shù)據(jù)，計(jì)算數(shù)據(jù)項(xiàng)最小支持度Support，并可根據(jù)最小支持度Support，確定檢查表中新的檢查項(xiàng)；最小支持度Support通過如下方法計(jì)算，

根據(jù)數(shù)據(jù)清洗模塊產(chǎn)生的數(shù)據(jù)super，結(jié)合監(jiān)督處罰情況數(shù)據(jù)factma，根據(jù)Apriori算法挖掘頻繁項(xiàng)集，計(jì)算出最小支持度Support：

Support(super∩factma)＝Freq(super∩factma)/N；

N代表處罰有效數(shù)據(jù)總數(shù)。

5.根據(jù)權(quán)利要求3所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：所述維度表模塊，可基于Apriori算法處理數(shù)據(jù)，計(jì)算數(shù)據(jù)項(xiàng)可信度Confidence，并根據(jù)可信度Confidence，可確定新的數(shù)據(jù)維度項(xiàng)；可信度Confidence通過如下方法計(jì)算，

基于Apriori算法分析出新的數(shù)據(jù)維度項(xiàng)，具體方法如下，

根據(jù)數(shù)據(jù)清洗模塊產(chǎn)生的數(shù)據(jù)super，結(jié)合監(jiān)督處罰情況數(shù)據(jù)factma，根據(jù)Apriori算法挖掘頻繁項(xiàng)集，計(jì)算出可信度Confidence：

Confidence＝Freq(super∩factma)/Freq(factma)。

6.根據(jù)權(quán)利要求1所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：所述數(shù)據(jù)分析處理模塊，可基于Apriori算法處理數(shù)據(jù)，計(jì)算數(shù)據(jù)項(xiàng)提升度LIFT,并根據(jù)提升度LIFT，確定提取有效數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；提升度LIFT通過如下方法計(jì)算，

Lift(a)＝Support(super∩dimension)/Support(super)*Support(dimension)；

Lift(b)＝Support(super∩examin)/Support(super)*Support(examin)；

式中，Support代表最小支持度，super代表數(shù)據(jù)清洗模塊產(chǎn)生的數(shù)據(jù)，dimension代表維度表模塊數(shù)據(jù)，examin代表檢查表模塊數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：所述數(shù)據(jù)展示模塊，包括數(shù)據(jù)交互模塊和數(shù)據(jù)圖像化模塊，使用D3.js根據(jù)數(shù)據(jù)以及模塊繪制所需的圖表；其中包含地圖，地圖使用SVG，根據(jù)標(biāo)準(zhǔn)地圖服務(wù)系統(tǒng)提供數(shù)據(jù)繪制，并實(shí)現(xiàn)地圖下鉆功能。

8.根據(jù)權(quán)利要求1至7任何一項(xiàng)所述的基于檢查表的多維度大數(shù)據(jù)分析展示系統(tǒng)，其特征在于：設(shè)有分布式協(xié)調(diào)模塊，基于Zookeeper來管理整個(gè)大數(shù)據(jù)集群，保證所有服務(wù)器正常運(yùn)行。