[發(fā)明專利]一種計(jì)算機(jī)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)及其統(tǒng)計(jì)分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910910589.1
• 申請(qǐng)日: 2019-09-25
• 公開（公告）號(hào): CN110659276A
• 公開（公告）日: 2020-01-07
• 發(fā)明（設(shè)計(jì)）人: 張琪;宋儀軒;劉苗
• 申請(qǐng)（專利權(quán)）人: 江蘇醫(yī)健大數(shù)據(jù)保護(hù)與開發(fā)有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/25
• 代理公司: 11624 北京卓嵐智財(cái)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)
• 代理人: 郭智

本發(fā)明涉及數(shù)據(jù)統(tǒng)計(jì)技術(shù)領(lǐng)域，具體地說，涉及一種計(jì)算機(jī)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)及其統(tǒng)計(jì)分類方法。其包括數(shù)據(jù)采集單元、數(shù)據(jù)清洗單元、數(shù)據(jù)分類單元和數(shù)據(jù)存儲(chǔ)單元，數(shù)據(jù)采集單元用于對(duì)前端數(shù)據(jù)進(jìn)行采集，數(shù)據(jù)清洗單元用于對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作，數(shù)據(jù)分類單元用于按照數(shù)據(jù)類型對(duì)數(shù)據(jù)進(jìn)行分類，數(shù)據(jù)存儲(chǔ)單元用于對(duì)分類后的數(shù)據(jù)進(jìn)行保存。該計(jì)算機(jī)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)及其統(tǒng)計(jì)分類方法中，設(shè)置數(shù)據(jù)采集單元，實(shí)現(xiàn)數(shù)據(jù)采集的完整性，防止數(shù)據(jù)采集丟失，設(shè)置數(shù)據(jù)分類單元，實(shí)現(xiàn)按照數(shù)據(jù)類型對(duì)數(shù)據(jù)進(jìn)行分類，并通過數(shù)據(jù)存儲(chǔ)單元對(duì)分類后的數(shù)據(jù)進(jìn)行保存，實(shí)現(xiàn)數(shù)據(jù)分類存儲(chǔ)，便于數(shù)據(jù)調(diào)用和查找。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)統(tǒng)計(jì)技術(shù)領(lǐng)域，具體地說，涉及一種計(jì)算機(jī)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)及其統(tǒng)計(jì)分類方法。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)統(tǒng)計(jì)的質(zhì)量越來越重要，數(shù)據(jù)統(tǒng)計(jì)多采用分布式架構(gòu)系統(tǒng)實(shí)現(xiàn)，但現(xiàn)有的數(shù)據(jù)統(tǒng)計(jì)由于在前端采集時(shí)，無法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，導(dǎo)致數(shù)據(jù)類型不一致，甚至出現(xiàn)數(shù)據(jù)丟失現(xiàn)象，影響數(shù)據(jù)采集的完整性，同時(shí)數(shù)據(jù)統(tǒng)計(jì)存儲(chǔ)時(shí)，無法根據(jù)數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行分類存儲(chǔ)，不便于后期查找。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種計(jì)算機(jī)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)及其統(tǒng)計(jì)分類方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，一方面，本發(fā)明提供一種計(jì)算機(jī)數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)，包括數(shù)據(jù)采集單元、數(shù)據(jù)清洗單元、數(shù)據(jù)分類單元和數(shù)據(jù)存儲(chǔ)單元，數(shù)據(jù)采集單元用于對(duì)前端數(shù)據(jù)進(jìn)行采集，數(shù)據(jù)清洗單元用于對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗操作，數(shù)據(jù)分類單元用于按照數(shù)據(jù)類型對(duì)數(shù)據(jù)進(jìn)行分類，數(shù)據(jù)存儲(chǔ)單元用于對(duì)分類后的數(shù)據(jù)進(jìn)行保存，數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)流程如下：

S1、通過采集節(jié)點(diǎn)采集前端數(shù)據(jù)；

S2、對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理；

S3、將清洗后的數(shù)據(jù)進(jìn)行分類處理；

S4、將分類處理后的數(shù)據(jù)進(jìn)行存儲(chǔ)。

作為優(yōu)選，數(shù)據(jù)采集單元采集數(shù)據(jù)流程如下：

S11、前端數(shù)據(jù)采集，通過采集節(jié)點(diǎn)采集前端數(shù)據(jù)；

S12、數(shù)據(jù)信號(hào)調(diào)理，將各個(gè)采集節(jié)點(diǎn)模擬輸出分別進(jìn)行信號(hào)變換，使之適應(yīng)模/數(shù)轉(zhuǎn)換器輸入端對(duì)輸入信號(hào)的要求；

S13、采樣信號(hào)保存，將連續(xù)信號(hào)轉(zhuǎn)化為斷續(xù)的采樣信號(hào)，再將斷續(xù)的采樣信號(hào)轉(zhuǎn)化為連續(xù)信號(hào)；

S14、模數(shù)信號(hào)轉(zhuǎn)換，將模擬量信號(hào)轉(zhuǎn)換為數(shù)字量信號(hào)；

S15、數(shù)字信號(hào)處理，對(duì)采樣的數(shù)字信號(hào)進(jìn)行處理。

作為優(yōu)選，采樣信號(hào)保存采用單位脈沖序列函數(shù)描述，其公式如下：

作為優(yōu)選，數(shù)據(jù)清洗單元包括以下模塊：

模塊一：糾正錯(cuò)誤模塊，糾正數(shù)據(jù)錯(cuò)誤形式；

模塊二：刪除重復(fù)項(xiàng)模塊，刪除數(shù)據(jù)中存在的重復(fù)記錄或重復(fù)字段；

模塊三：統(tǒng)一規(guī)格模塊，統(tǒng)一數(shù)據(jù)規(guī)格并將一致性的內(nèi)容抽象出來；

模塊四：修正邏輯模塊，明確各個(gè)源系統(tǒng)的邏輯、條件、口徑，并對(duì)異常源系統(tǒng)的采集邏輯進(jìn)行修正；

模塊五：轉(zhuǎn)換構(gòu)造模塊，對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；

模塊六：數(shù)據(jù)壓縮模塊，保持原有數(shù)據(jù)集的完整性和準(zhǔn)確性，不丟失有用信息的前提下，按照一定的算法和方式對(duì)數(shù)據(jù)進(jìn)行重新組織；

模塊七：數(shù)據(jù)補(bǔ)缺模塊，對(duì)殘缺數(shù)據(jù)的數(shù)據(jù)進(jìn)行補(bǔ)充；

模塊八：數(shù)據(jù)丟棄模塊，對(duì)于數(shù)據(jù)中的異常數(shù)據(jù)進(jìn)行刪除。

作為優(yōu)選，數(shù)據(jù)存儲(chǔ)單元流程如下：