[發(fā)明專利]一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 202110314772.2
• 申請日: 2021-03-24
• 公開（公告）號: CN112860972A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設計）人: 任水利;劉小剛;李小恒;周榆富
• 申請（專利權）人: 西京學院
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F40/177;G06N20/00
• 代理公司: 西安合創(chuàng)非凡知識產(chǎn)權代理事務所(普通合伙) 61248
• 代理人: 于波

本發(fā)明涉及大數(shù)據(jù)處理領域，具體涉及一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，包括如下步驟：S1、基于數(shù)據(jù)處理目標實現(xiàn)關聯(lián)數(shù)據(jù)特征集、數(shù)據(jù)訓練集、數(shù)據(jù)處理模型訓練算法、及數(shù)據(jù)處理模型之間關聯(lián)關系的爬取；S2、基于數(shù)據(jù)處理模型訓練算法分別訓練對應的數(shù)據(jù)訓練集生成對應的數(shù)據(jù)處理模型；S3、基于數(shù)據(jù)處理模型的關聯(lián)關系構建用于依次喚醒對應數(shù)據(jù)處理模型的驅(qū)動腳本；S4、基于關聯(lián)數(shù)據(jù)特征集實現(xiàn)目標數(shù)據(jù)的采集，并基于運行驅(qū)動腳本實現(xiàn)對應數(shù)據(jù)處理模型的喚醒，實現(xiàn)目標數(shù)據(jù)的處理分析。本發(fā)明基于大數(shù)據(jù)實現(xiàn)了各種數(shù)據(jù)處理模型的自主構建，在可以大大減輕人為工作量的同時，可以滿足各種數(shù)據(jù)處理需求。

技術領域

本發(fā)明涉及大數(shù)據(jù)處理領域，具體涉及一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法。

背景技術

大數(shù)據(jù)、云計算、“互聯(lián)網(wǎng)+”已成為創(chuàng)新發(fā)展的新趨勢，在大數(shù)據(jù)條件下，每個系統(tǒng)、電子設備都會產(chǎn)生成千上萬的數(shù)據(jù)，為了快速從海量數(shù)據(jù)中獲得真正的業(yè)務價值，大數(shù)據(jù)平臺應運而生。

目前，現(xiàn)有的基于大數(shù)據(jù)平臺的數(shù)據(jù)處理通常需要單獨開發(fā)代碼，整個流程包含需求、開發(fā)、測試、部署等多個環(huán)節(jié)，每個環(huán)節(jié)都需要專業(yè)的人員參與，耗時長，工作量大且成本高。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，基于大數(shù)據(jù)實現(xiàn)了各種數(shù)據(jù)處理模型的自主構建，在可以大大減輕人為工作量的同時，可以滿足各種數(shù)據(jù)處理需求。

為實現(xiàn)上述目的，本發(fā)明采取的技術方案為：

一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，包括如下步驟：

S1、基于數(shù)據(jù)處理目標實現(xiàn)關聯(lián)數(shù)據(jù)特征集、數(shù)據(jù)訓練集、數(shù)據(jù)處理模型訓練算法、及數(shù)據(jù)處理模型之間關聯(lián)關系的爬取；

S2、基于數(shù)據(jù)處理模型訓練算法分別訓練對應的數(shù)據(jù)訓練集生成對應的數(shù)據(jù)處理模型；

S3、基于數(shù)據(jù)處理模型的關聯(lián)關系構建用于依次喚醒對應數(shù)據(jù)處理模型的驅(qū)動腳本；

S4、基于關聯(lián)數(shù)據(jù)特征集實現(xiàn)目標數(shù)據(jù)的采集，并基于運行驅(qū)動腳本實現(xiàn)對應數(shù)據(jù)處理模型的喚醒，實現(xiàn)目標數(shù)據(jù)的處理分析。

進一步地，所述步驟S1中，通過網(wǎng)絡爬蟲模塊和/數(shù)據(jù)挖掘模塊基于數(shù)據(jù)處理目標在預設的網(wǎng)絡基站和/數(shù)據(jù)庫實現(xiàn)關聯(lián)數(shù)據(jù)特征、數(shù)據(jù)訓練、數(shù)據(jù)處理模型訓練算法、及數(shù)據(jù)處理模型之間關聯(lián)關系的爬取和/挖掘，然后基于人工結(jié)合機器學習的方式實現(xiàn)關聯(lián)數(shù)據(jù)特征集、數(shù)據(jù)訓練集、數(shù)據(jù)處理模型訓練算法、及數(shù)據(jù)處理模型之間關聯(lián)關系的整理構建。

進一步地，所述數(shù)據(jù)處理模型之間關聯(lián)關系為數(shù)據(jù)處理模型處理結(jié)果與其他數(shù)據(jù)處理模型輸入項之間的關聯(lián)關系。

進一步地，步驟S3中， 首先根據(jù)數(shù)據(jù)處理模型的關聯(lián)關系實現(xiàn)各數(shù)據(jù)處理模型運行順序的排列，然后根據(jù)前一個數(shù)據(jù)處理模型與后一個數(shù)據(jù)處理模型之間的關聯(lián)關系依次構建驅(qū)動腳本，所述驅(qū)動腳本用于將前一個數(shù)據(jù)處理模型的處理結(jié)果格式標準化后輸送至后一個數(shù)據(jù)處理模型中。

進一步地，所述步驟S4中，首先基于關聯(lián)數(shù)據(jù)特征集訓練構建對應的數(shù)據(jù)挖掘模型，基于數(shù)據(jù)挖掘模型在預設的數(shù)據(jù)庫內(nèi)和/基于數(shù)據(jù)采集終端實現(xiàn)目標數(shù)據(jù)的采集，并實現(xiàn)目標數(shù)據(jù)格式的標準化，然后運行驅(qū)動腳本實現(xiàn)對應數(shù)據(jù)處理模型的喚醒，實現(xiàn)目標數(shù)據(jù)的處理分析。

進一步地，還包括：基于數(shù)據(jù)處理目標配置對應的數(shù)據(jù)處理分析報表模板，并基于數(shù)據(jù)處理分析報表模板實現(xiàn)數(shù)據(jù)處理分析報表編制的步驟。

進一步地，所述步驟S2中，基于Hadoop分布式運行數(shù)據(jù)處理模型訓練算法分別訓練對應的數(shù)據(jù)訓練集生成對應的數(shù)據(jù)處理模型

本發(fā)明具有以下有益效果：

基于大數(shù)據(jù)實現(xiàn)了各種數(shù)據(jù)處理模型的自主構建，在可以大大減輕人為工作量的同時，可以滿足各種數(shù)據(jù)處理需求。

數(shù)據(jù)處理的過程自動進行，基本脫離人工，可以大大提高數(shù)據(jù)處理效率的同時，可以避免由于人為操作所帶來的數(shù)據(jù)處理漏洞。