[發(fā)明專(zhuān)利]一種大數(shù)據(jù)處理裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810648667.0
• 申請(qǐng)日: 2018-06-22
• 公開(kāi)（公告）號(hào): CN108920410A
• 公開(kāi)（公告）日: 2018-11-30
• 發(fā)明（設(shè)計(jì)）人: 王旭生;梁娜;王健;邱志祺;安逸
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華北理工大學(xué)
• 主分類(lèi)號(hào): G06F15/173
• 分類(lèi)號(hào): G06F15/173;G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種大數(shù)據(jù)處理裝置，包括主處理器(1)、初步處理器(2)和次級(jí)處理器(3)，所述主處理器(1)內(nèi)設(shè)有主數(shù)據(jù)處理模塊，所述主處理器(1)與多個(gè)初步處理器(2)連接，一個(gè)初步處理器(2)與多個(gè)次級(jí)處理器(3)連接，，所述主數(shù)據(jù)處理器(1)、初步處理器(2)和次級(jí)處理器(3)內(nèi)設(shè)均設(shè)有數(shù)據(jù)檢測(cè)模塊，數(shù)據(jù)檢測(cè)模塊用于檢測(cè)輸入數(shù)據(jù)異常。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)處理裝置，其特征在于，所述初步處理器(2)內(nèi)設(shè)有初步數(shù)據(jù)處理模塊。

3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)處理裝置，其特征在于，所述次級(jí)處理器(3)上連接有輸入設(shè)備，所述輸入設(shè)備內(nèi)設(shè)有數(shù)據(jù)輸入模塊。

4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)處理裝置，其特征在于，所述次級(jí)處理器(3)內(nèi)設(shè)有次級(jí)數(shù)據(jù)處理模塊。

5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)處理裝置，其特征在于，所述主數(shù)據(jù)處理器(1)和初步處理器(2)之間、初步處理器(2)和次級(jí)處理器(3)之間均為雙向傳輸方式。

6.一種大數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

步驟S1，通過(guò)初步處理器2獲取待處理的目標(biāo)數(shù)據(jù)；

步驟S2，通過(guò)次級(jí)處理器3獲取預(yù)先制定的數(shù)據(jù)形態(tài)關(guān)鍵指標(biāo)，數(shù)據(jù)形態(tài)關(guān)鍵指標(biāo)包括數(shù)據(jù)的自身屬性信息；

步驟S3，主處理器1根據(jù)預(yù)先制定的數(shù)據(jù)形態(tài)關(guān)鍵指標(biāo)確定待處理的目標(biāo)數(shù)據(jù)的數(shù)據(jù)形態(tài)。

7.根據(jù)權(quán)利要求6所述的一種大數(shù)據(jù)處理方法，其特征在于，步驟S3可包括以下步驟S31-S33：

步驟S31，接收輸入的預(yù)定數(shù)據(jù)表的表名；

步驟S32，根據(jù)預(yù)先制定的數(shù)據(jù)形態(tài)關(guān)鍵指標(biāo)對(duì)預(yù)定數(shù)據(jù)表進(jìn)行清洗，獲得預(yù)定數(shù)據(jù)表中的目標(biāo)數(shù)據(jù)的數(shù)據(jù)形態(tài)；

步驟S33，接收輸入的預(yù)設(shè)數(shù)據(jù)表的待處理分區(qū)和/或接收輸入的一個(gè)或多個(gè)待計(jì)算枚舉值的字段。

8.根據(jù)權(quán)利要求6所述的一種大數(shù)據(jù)處理方法，其特征在于，步驟S3的操作流程為：新建任務(wù)，根據(jù)提示填對(duì)應(yīng)的信息。比如，填寫(xiě)待分析的數(shù)據(jù)表的表名、預(yù)設(shè)數(shù)據(jù)表的待處理分區(qū)以及一個(gè)或多個(gè)待計(jì)算枚舉值的字段。填寫(xiě)完畢后，點(diǎn)擊執(zhí)行按鈕，即可開(kāi)始對(duì)表中的數(shù)據(jù)進(jìn)行分析，任務(wù)執(zhí)行完后會(huì)向用戶(hù)發(fā)送通知，用戶(hù)還可以點(diǎn)擊日志按鈕實(shí)時(shí)查看任務(wù)執(zhí)行進(jìn)度。