[發(fā)明專利]一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 202110314772.2
• 申請日: 2021-03-24
• 公開（公告）號: CN112860972A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 任水利;劉小剛;李小恒;周榆富
• 申請（專利權(quán)）人: 西京學(xué)院
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F40/177;G06N20/00
• 代理公司: 西安合創(chuàng)非凡知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61248
• 代理人: 于波

1.一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，包括如下步驟：

S1、基于數(shù)據(jù)處理目標(biāo)實(shí)現(xiàn)關(guān)聯(lián)數(shù)據(jù)特征集、數(shù)據(jù)訓(xùn)練集、數(shù)據(jù)處理模型訓(xùn)練算法、及數(shù)據(jù)處理模型之間關(guān)聯(lián)關(guān)系的爬取；

S2、基于數(shù)據(jù)處理模型訓(xùn)練算法分別訓(xùn)練對應(yīng)的數(shù)據(jù)訓(xùn)練集生成對應(yīng)的數(shù)據(jù)處理模型；

S3、基于數(shù)據(jù)處理模型的關(guān)聯(lián)關(guān)系構(gòu)建用于依次喚醒對應(yīng)數(shù)據(jù)處理模型的驅(qū)動腳本；

S4、基于關(guān)聯(lián)數(shù)據(jù)特征集實(shí)現(xiàn)目標(biāo)數(shù)據(jù)的采集，并基于運(yùn)行驅(qū)動腳本實(shí)現(xiàn)對應(yīng)數(shù)據(jù)處理模型的喚醒，實(shí)現(xiàn)目標(biāo)數(shù)據(jù)的處理分析。

2.如權(quán)利要求1所述的一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，所述步驟S1中，通過網(wǎng)絡(luò)爬蟲模塊和/數(shù)據(jù)挖掘模塊基于數(shù)據(jù)處理目標(biāo)在預(yù)設(shè)的網(wǎng)絡(luò)基站和/數(shù)據(jù)庫實(shí)現(xiàn)關(guān)聯(lián)數(shù)據(jù)特征、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)處理模型訓(xùn)練算法、及數(shù)據(jù)處理模型之間關(guān)聯(lián)關(guān)系的爬取和/挖掘，然后基于人工結(jié)合機(jī)器學(xué)習(xí)的方式實(shí)現(xiàn)關(guān)聯(lián)數(shù)據(jù)特征集、數(shù)據(jù)訓(xùn)練集、數(shù)據(jù)處理模型訓(xùn)練算法、及數(shù)據(jù)處理模型之間關(guān)聯(lián)關(guān)系的整理構(gòu)建。

3.如權(quán)利要求1所述的一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)處理模型之間關(guān)聯(lián)關(guān)系為數(shù)據(jù)處理模型處理結(jié)果與其他數(shù)據(jù)處理模型輸入項(xiàng)之間的關(guān)聯(lián)關(guān)系。

4.如權(quán)利要求1所述的一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，步驟S3中，首先根據(jù)數(shù)據(jù)處理模型的關(guān)聯(lián)關(guān)系實(shí)現(xiàn)各數(shù)據(jù)處理模型運(yùn)行順序的排列，然后根據(jù)前一個數(shù)據(jù)處理模型與后一個數(shù)據(jù)處理模型之間的關(guān)聯(lián)關(guān)系依次構(gòu)建驅(qū)動腳本，所述驅(qū)動腳本用于將前一個數(shù)據(jù)處理模型的處理結(jié)果格式標(biāo)準(zhǔn)化后輸送至后一個數(shù)據(jù)處理模型中。

5.如權(quán)利要求1所述的一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，所述步驟S4中，首先基于關(guān)聯(lián)數(shù)據(jù)特征集訓(xùn)練構(gòu)建對應(yīng)的數(shù)據(jù)挖掘模型，基于數(shù)據(jù)挖掘模型在預(yù)設(shè)的數(shù)據(jù)庫內(nèi)和/基于數(shù)據(jù)采集終端實(shí)現(xiàn)目標(biāo)數(shù)據(jù)的采集，并實(shí)現(xiàn)目標(biāo)數(shù)據(jù)格式的標(biāo)準(zhǔn)化，然后運(yùn)行驅(qū)動腳本實(shí)現(xiàn)對應(yīng)數(shù)據(jù)處理模型的喚醒，實(shí)現(xiàn)目標(biāo)數(shù)據(jù)的處理分析。

6.如權(quán)利要求1所述的一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，還包括：基于數(shù)據(jù)處理目標(biāo)配置對應(yīng)的數(shù)據(jù)處理分析報表模板，并基于數(shù)據(jù)處理分析報表模板實(shí)現(xiàn)數(shù)據(jù)處理分析報表編制的步驟。

7.如權(quán)利要求1所述的一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，所述步驟S2中，基于Hadoop分布式運(yùn)行數(shù)據(jù)處理模型訓(xùn)練算法分別訓(xùn)練對應(yīng)的數(shù)據(jù)訓(xùn)練集生成對應(yīng)的數(shù)據(jù)處理模型。