[發(fā)明專利]一種大數(shù)據(jù)處理系統(tǒng)及其處理方法

有效

• 申請?zhí)枺?/td>: 201910354112.X
• 申請日: 2019-04-29
• 公開（公告）號: CN109977271B
• 公開（公告）日: 2022-12-20
• 發(fā)明（設(shè)計）人: 宋頂利;張昕;周建新
• 申請（專利權(quán)）人: 重慶憨牛技術(shù)創(chuàng)新服務(wù)有限公司
• 主分類號: G06F16/84
• 分類號: G06F16/84
• 代理公司: 深圳市洪荒之力專利代理有限公司 44541
• 代理人: 莊露露

本發(fā)明公開了一種大數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)格式變換模塊，用于對原始數(shù)據(jù)的數(shù)據(jù)格式進行變換，形成待處理數(shù)據(jù)；數(shù)據(jù)映射模塊，用于建立待處理數(shù)據(jù)的映射集合；映射數(shù)據(jù)處理模塊，用于對映射集合的數(shù)據(jù)進行處理；原始數(shù)據(jù)處理模塊，用于根據(jù)映射集合數(shù)據(jù)的處理結(jié)果對原始數(shù)據(jù)進行處理。本發(fā)明能夠改進現(xiàn)有技術(shù)的不足，提高了數(shù)據(jù)處理的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其是一種大數(shù)據(jù)處理系統(tǒng)及其處理方法。

背景技術(shù)

近些年大數(shù)據(jù)技術(shù)快速發(fā)展，在多個領(lǐng)域得到了廣泛應(yīng)用。雖然大數(shù)據(jù)技術(shù)對于數(shù)據(jù)處理精度要求不高，但是由于大數(shù)據(jù)的數(shù)據(jù)來源眾多，數(shù)據(jù)量大，導(dǎo)致對于數(shù)據(jù)處理的硬件要求依舊較高，這就限制了大數(shù)據(jù)技術(shù)的進一步普及。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種大數(shù)據(jù)處理系統(tǒng)及其處理方法，能夠解決現(xiàn)有技術(shù)的不足，提高了數(shù)據(jù)處理的效率。

為解決上述技術(shù)問題，本發(fā)明所采取的技術(shù)方案如下。

一種大數(shù)據(jù)處理系統(tǒng)，包括，

數(shù)據(jù)格式變換模塊，用于對原始數(shù)據(jù)的數(shù)據(jù)格式進行變換，形成待處理數(shù)據(jù)；

數(shù)據(jù)映射模塊，用于建立待處理數(shù)據(jù)的映射集合；

映射數(shù)據(jù)處理模塊，用于對映射集合的數(shù)據(jù)進行處理；

原始數(shù)據(jù)處理模塊，用于根據(jù)映射集合數(shù)據(jù)的處理結(jié)果對原始數(shù)據(jù)進行處理。

一種上述的大數(shù)據(jù)處理系統(tǒng)的處理方法，包括以下步驟：

A、數(shù)據(jù)格式變換模塊，用于對待處理數(shù)據(jù)的數(shù)據(jù)格式進行變換，變換后的待處理數(shù)據(jù)包括數(shù)據(jù)表頭段、數(shù)據(jù)特征段、映射規(guī)則段、數(shù)據(jù)內(nèi)容段；

B、數(shù)據(jù)映射模塊建立待處理數(shù)據(jù)的映射集合，并將映射規(guī)則標記在映射規(guī)則段；

C、映射數(shù)據(jù)處理模塊對映射集合的數(shù)據(jù)進行處理；

D、原始數(shù)據(jù)處理模塊根據(jù)映射集合數(shù)據(jù)的處理結(jié)果對原始數(shù)據(jù)進行處理。

作為優(yōu)選，步驟B中，映射集合中的數(shù)據(jù)線性相關(guān)；計算映射規(guī)則的相似度，將相似度大于設(shè)定值的映射規(guī)則對應(yīng)的待處理數(shù)據(jù)設(shè)定同一個數(shù)據(jù)簇。

作為優(yōu)選，步驟C中，對映射集合的數(shù)據(jù)進行處理包括以下步驟，

C1、將每個數(shù)據(jù)簇內(nèi)的數(shù)據(jù)建立數(shù)據(jù)樹，將映射規(guī)則完全相同的數(shù)據(jù)作為節(jié)點；

C2、以節(jié)點作為數(shù)據(jù)處理的起始端對數(shù)據(jù)進行處理，兩個節(jié)點之間的數(shù)據(jù)采用相同的處理方式，處理方式使用兩端節(jié)點數(shù)據(jù)處理方式的線性組合確定；

C3、建立不同數(shù)據(jù)簇之間的關(guān)聯(lián)矩陣，根據(jù)關(guān)聯(lián)矩陣建立數(shù)據(jù)的多維關(guān)聯(lián)樹。

作為優(yōu)選，步驟D中，對原始數(shù)據(jù)進行處理包括一下步驟，

D1、在數(shù)據(jù)表頭段標記數(shù)據(jù)原始地址；

D2、將數(shù)據(jù)特征段中的數(shù)據(jù)特征與多維關(guān)聯(lián)樹的節(jié)點進行遍歷對比，取與數(shù)據(jù)特征相似度最高的節(jié)點作為映射節(jié)點；

D3、使用映射規(guī)則段記錄的映射規(guī)則對映射節(jié)點進行反運算，得到原始數(shù)據(jù)的處理結(jié)果。

采用上述技術(shù)方案所帶來的有益效果在于：本發(fā)明通過建立映射數(shù)據(jù)集合，利用映射數(shù)據(jù)便于處理的特點，實現(xiàn)對于原始數(shù)據(jù)的間接處理，最后通過映射關(guān)系反饋至原始數(shù)據(jù)，實現(xiàn)對于原始數(shù)據(jù)的快速處理。映射數(shù)據(jù)的處理結(jié)果采用多維關(guān)聯(lián)樹的結(jié)構(gòu)進行體現(xiàn)，可以提高映射數(shù)據(jù)處理和原始數(shù)據(jù)處理的依賴度，從而保證原始數(shù)據(jù)處理的準確度。

附圖說明

圖1是本發(fā)明一個具體實施方式的結(jié)構(gòu)圖。