[發(fā)明專利]一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611044723.7
• 申請(qǐng)日: 2016-11-24
• 公開（公告）號(hào): CN106776786A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 王顏;王洪添
• 申請(qǐng)（專利權(quán)）人: 山東浪潮云服務(wù)信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司37100
• 代理人: 孟峣

1.一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，其實(shí)現(xiàn)過程為：根據(jù)采集數(shù)據(jù)的數(shù)據(jù)質(zhì)量問題及數(shù)據(jù)需求，完成采集數(shù)據(jù)的清洗及處理，并監(jiān)控整個(gè)數(shù)據(jù)處理過程，該數(shù)據(jù)處理過程包括包括開始執(zhí)行、執(zhí)行結(jié)束、處理過程實(shí)際執(zhí)行的SQL語句、完成處理的數(shù)據(jù)量、執(zhí)行異常信息，將監(jiān)控信息保存到相應(yīng)的數(shù)據(jù)表，形成完善的數(shù)據(jù)處理機(jī)制。

2.根據(jù)權(quán)利要求1所述的一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，采集數(shù)據(jù)進(jìn)行清洗、處理的具體步驟為：

一、首先整理采集數(shù)據(jù)表；

二、然后分析采集數(shù)據(jù)表的數(shù)據(jù)規(guī)范性，編寫數(shù)據(jù)清洗SQL，完成包括去除重復(fù)數(shù)據(jù)、規(guī)范數(shù)據(jù)顯示格式的數(shù)據(jù)清洗工作，清洗后的數(shù)據(jù)分別保存到臨時(shí)表中；

三、編寫數(shù)據(jù)處理SQL，該數(shù)據(jù)處理SQL根據(jù)臨時(shí)表之間的關(guān)聯(lián)得到綜合信息、匯總信息、分指標(biāo)匯總信息，處理后的數(shù)據(jù)保存到目標(biāo)表中；

四、設(shè)計(jì)存放數(shù)據(jù)清洗、處理SQL的表；

五、數(shù)據(jù)清洗、處理過程中的SQL均通過動(dòng)態(tài)SQL執(zhí)行，將動(dòng)態(tài)SQL保存到步驟四設(shè)計(jì)的表中，相對(duì)應(yīng)的，該表中包含：執(zhí)行SQL的存儲(chǔ)過程名稱、SQL執(zhí)行時(shí)間、實(shí)際執(zhí)行的SQL語句，方便查看實(shí)際執(zhí)行的數(shù)據(jù)清洗、處理腳本。

3.根據(jù)權(quán)利要求1所述的一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，在監(jiān)控整個(gè)數(shù)據(jù)處理過程時(shí)，首先需要獲取數(shù)據(jù)處理過程中產(chǎn)生的具體數(shù)據(jù)信息：

首先記錄存儲(chǔ)過程開始執(zhí)行時(shí)間；

進(jìn)行采集數(shù)據(jù)清洗及處理的步驟，保留處理過程中的中間表或臨時(shí)表，并將最終處理結(jié)果保存至目標(biāo)表，記錄各級(jí)數(shù)據(jù)處理過程的實(shí)際執(zhí)行SQL；

記錄本次清洗完成后保存到目標(biāo)表的采集數(shù)據(jù)量；

記錄存儲(chǔ)過程結(jié)束執(zhí)行時(shí)間；

當(dāng)處理過程出現(xiàn)異常時(shí)，記錄存儲(chǔ)過程執(zhí)行異常信息。

4.根據(jù)權(quán)利要求3所述的一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，監(jiān)控?cái)?shù)據(jù)處理過程中產(chǎn)生的數(shù)據(jù)保存在以下對(duì)應(yīng)的日志表中：

記錄存儲(chǔ)過程的執(zhí)行日志表；

記錄實(shí)際執(zhí)行的SQL腳本的SQL日志表；

記錄數(shù)據(jù)處理完成后的數(shù)據(jù)量的變化日志表；

記錄數(shù)據(jù)處理過程中的異常信息的異常信息表。

5.根據(jù)權(quán)利要求4所述的一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，上述執(zhí)行日志表通過具有記錄存儲(chǔ)過程執(zhí)行情況的函數(shù)記錄，該函數(shù)通過輸入?yún)?shù)，將輸入?yún)?shù)相關(guān)信息保存到執(zhí)行日志表中，這里的輸入?yún)?shù)包括：過程名稱、執(zhí)行標(biāo)志、執(zhí)行時(shí)間、存儲(chǔ)過程生成的目標(biāo)數(shù)據(jù)量，這里的執(zhí)行標(biāo)志是指開始或結(jié)束兩種標(biāo)志。

6.根據(jù)權(quán)利要求4所述的一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，所述變化日志表通過記錄數(shù)據(jù)處理完成后的數(shù)據(jù)量的函數(shù)實(shí)現(xiàn)，該函數(shù)通過輸入?yún)?shù)，將輸入?yún)?shù)相關(guān)信息保存至該變化日志表中，其輸入?yún)?shù)包括：存儲(chǔ)過程名稱、目標(biāo)表名稱、目標(biāo)表本次新增記錄數(shù)、新增記錄時(shí)間。

7.根據(jù)權(quán)利要求4所述的一種互聯(lián)網(wǎng)采集數(shù)據(jù)的過程化處理方法，其特征在于，所述異常信息表通過記錄存儲(chǔ)過程執(zhí)行異常情況的函數(shù)實(shí)現(xiàn)，該函數(shù)通過輸入?yún)?shù)，將將輸入?yún)?shù)相關(guān)信息保存到異常信息表中，其輸入?yún)?shù)包括：存儲(chǔ)過程名稱、執(zhí)行異常時(shí)間、執(zhí)行異常代碼、執(zhí)行異常信息。