[發(fā)明專利]數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811559931.X
• 申請(qǐng)日: 2018-12-19
• 公開（公告）號(hào): CN109656922B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 馬龍飛;李海濤;姚斌;丁屹峰;陸斯悅;張祿;徐蕙;楊爍;宮成;陳建樹
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)北京市電力公司;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/215;G06F16/27
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙囡囡;董文倩

本發(fā)明公開了一種數(shù)據(jù)處理方法及裝置。其中，該方法包括：預(yù)先創(chuàng)建目標(biāo)模型，目標(biāo)數(shù)據(jù)庫(kù)和計(jì)算實(shí)例；將封裝得到的上述目標(biāo)模型的數(shù)據(jù)包存儲(chǔ)至上述目標(biāo)數(shù)據(jù)庫(kù)，其中，上述數(shù)據(jù)包至少包括：輸入?yún)?shù)、參數(shù)類型、特征向量、目標(biāo)向量、輸出結(jié)果；通過運(yùn)行上述計(jì)算實(shí)例對(duì)上述目標(biāo)數(shù)據(jù)庫(kù)中的上述數(shù)據(jù)包進(jìn)行分布式計(jì)算，得到計(jì)算結(jié)果。本發(fā)明解決了現(xiàn)有技術(shù)中的互聯(lián)網(wǎng)Web控制Spark機(jī)器學(xué)習(xí)算法，無(wú)法記錄和分析機(jī)器學(xué)習(xí)算法中的整個(gè)過程，導(dǎo)致工作效率較低的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

在移動(dòng)互聯(lián)網(wǎng)高速發(fā)展的時(shí)期，網(wǎng)民數(shù)量也在不斷提高，海量數(shù)據(jù)成為常態(tài)，大數(shù)據(jù)技術(shù)則是大數(shù)據(jù)存儲(chǔ)、計(jì)算、分析、應(yīng)用的重要工具，這些技術(shù)大部分都已經(jīng)開源，可以幫助技術(shù)人員快速掌握大數(shù)據(jù)相關(guān)技術(shù)，提高工作效率。

但是，在互聯(lián)網(wǎng)web控制spark機(jī)器學(xué)習(xí)算法方面，開源技術(shù)效率較低，提交運(yùn)行分析的步驟較為松散，沒有實(shí)現(xiàn)流程化，對(duì)過程的記錄不夠，無(wú)法對(duì)整個(gè)過程分析，以及優(yōu)化整個(gè)過程的流程，不能快速的調(diào)節(jié)參數(shù)，需要使用人員熟練掌握大數(shù)據(jù)技術(shù)和Spark集群學(xué)習(xí)算法。

針對(duì)上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法及裝置，以至少解決現(xiàn)有技術(shù)中的互聯(lián)網(wǎng)Web控制Spark機(jī)器學(xué)習(xí)算法，無(wú)法記錄和分析機(jī)器學(xué)習(xí)算法中的整個(gè)過程，導(dǎo)致工作效率較低的技術(shù)問題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，包括：預(yù)先創(chuàng)建目標(biāo)模型，目標(biāo)數(shù)據(jù)庫(kù)和計(jì)算實(shí)例；將封裝得到的上述目標(biāo)模型的數(shù)據(jù)包存儲(chǔ)至上述目標(biāo)數(shù)據(jù)庫(kù)，其中，上述數(shù)據(jù)包至少包括：輸入?yún)?shù)、參數(shù)類型、特征向量、目標(biāo)向量、輸出結(jié)果；通過運(yùn)行上述計(jì)算實(shí)例對(duì)上述目標(biāo)數(shù)據(jù)庫(kù)中的上述數(shù)據(jù)包進(jìn)行分布式計(jì)算，得到計(jì)算結(jié)果。

進(jìn)一步地，在封裝得到上述目標(biāo)模型的數(shù)據(jù)包之前，上述方法還包括：預(yù)先配置上述數(shù)據(jù)包中的上述輸入?yún)?shù)，其中，用于配置上述輸入?yún)?shù)的配置數(shù)據(jù)包括以下至少之一：參數(shù)序號(hào)、參數(shù)名稱、英文名稱、參數(shù)類型、參數(shù)分類、取值范圍、默認(rèn)值；預(yù)先配置上述數(shù)據(jù)包中的上述特征向量和/或上述目標(biāo)向量，其中，上述特征向量的配置數(shù)量為一列或多列，上述目標(biāo)向量的配置數(shù)量為一列。

進(jìn)一步地，在預(yù)先配置上述數(shù)據(jù)包中的上述輸入?yún)?shù)之后，上述方法還包括：對(duì)在配置上述輸入?yún)?shù)過程中存在異常的代碼進(jìn)行處理，其中，上述異常包括以下至少之一：異常判斷，空值判斷，數(shù)據(jù)轉(zhuǎn)換。

進(jìn)一步地，在封裝得到上述目標(biāo)模型的數(shù)據(jù)包之前，上述方法還包括：預(yù)先配置上述目標(biāo)模型的基本信息，其中，上述基本信息包括以下至少之一：模型名稱、模型類型、模型描述、創(chuàng)建時(shí)間、算法入口、算法文件上傳；預(yù)先配置上述目標(biāo)模型的模型參數(shù)信息，其中，上述模型參數(shù)信息至少包括：上述基本信息、上述特征向量和上述目標(biāo)向量；預(yù)先配置上述數(shù)據(jù)包中的上述輸出結(jié)果，其中，上述輸出結(jié)果包括以下至少之一：輸出圖形、輸出字段。

進(jìn)一步地，在預(yù)先創(chuàng)建上述目標(biāo)數(shù)據(jù)庫(kù)之后，上述方法還包括：獲取上述目標(biāo)數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)；對(duì)上述業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理，其中，上述數(shù)據(jù)清洗處理為清洗處理上述業(yè)務(wù)數(shù)據(jù)中以下至少之一數(shù)據(jù)：殘缺數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)；將進(jìn)行上述數(shù)據(jù)清洗處理后的上述業(yè)務(wù)數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)中。

進(jìn)一步地，在通過運(yùn)行上述計(jì)算實(shí)例對(duì)上述目標(biāo)數(shù)據(jù)庫(kù)中的上述數(shù)據(jù)包進(jìn)行分布式計(jì)算，得到計(jì)算結(jié)果之后，上述方法還包括：將上述計(jì)算結(jié)果存儲(chǔ)至與上述計(jì)算實(shí)例對(duì)應(yīng)的數(shù)據(jù)表中，其中，上述數(shù)據(jù)表存儲(chǔ)在上述目標(biāo)數(shù)據(jù)庫(kù)中。

進(jìn)一步地，在通過運(yùn)行上述計(jì)算實(shí)例對(duì)上述目標(biāo)數(shù)據(jù)庫(kù)中的上述數(shù)據(jù)包進(jìn)行分布式計(jì)算，得到計(jì)算結(jié)果之后，上述方法還包括：通過數(shù)據(jù)列表的形式展示上述計(jì)算結(jié)果，以及與上述計(jì)算結(jié)果對(duì)應(yīng)的原始數(shù)據(jù)。