[發明專利]一種互聯網采集數據的過程化處理方法

在審

• 申請號: 201611044723.7
• 申請日: 2016-11-24
• 公開（公告）號: CN106776786A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 王顏;王洪添
• 申請（專利權）人: 山東浪潮云服務信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 孟峣

1.一種互聯網采集數據的過程化處理方法，其特征在于，其實現過程為：根據采集數據的數據質量問題及數據需求，完成采集數據的清洗及處理，并監控整個數據處理過程，該數據處理過程包括包括開始執行、執行結束、處理過程實際執行的SQL語句、完成處理的數據量、執行異常信息，將監控信息保存到相應的數據表，形成完善的數據處理機制。

2.根據權利要求1所述的一種互聯網采集數據的過程化處理方法，其特征在于，采集數據進行清洗、處理的具體步驟為：

一、首先整理采集數據表；

二、然后分析采集數據表的數據規范性，編寫數據清洗SQL，完成包括去除重復數據、規范數據顯示格式的數據清洗工作，清洗后的數據分別保存到臨時表中；

三、編寫數據處理SQL，該數據處理SQL根據臨時表之間的關聯得到綜合信息、匯總信息、分指標匯總信息，處理后的數據保存到目標表中；

四、設計存放數據清洗、處理SQL的表；

五、數據清洗、處理過程中的SQL均通過動態SQL執行，將動態SQL保存到步驟四設計的表中，相對應的，該表中包含：執行SQL的存儲過程名稱、SQL執行時間、實際執行的SQL語句，方便查看實際執行的數據清洗、處理腳本。

3.根據權利要求1所述的一種互聯網采集數據的過程化處理方法，其特征在于，在監控整個數據處理過程時，首先需要獲取數據處理過程中產生的具體數據信息：

首先記錄存儲過程開始執行時間；

進行采集數據清洗及處理的步驟，保留處理過程中的中間表或臨時表，并將最終處理結果保存至目標表，記錄各級數據處理過程的實際執行SQL；

記錄本次清洗完成后保存到目標表的采集數據量；

記錄存儲過程結束執行時間；

當處理過程出現異常時，記錄存儲過程執行異常信息。

4.根據權利要求3所述的一種互聯網采集數據的過程化處理方法，其特征在于，監控數據處理過程中產生的數據保存在以下對應的日志表中：

記錄存儲過程的執行日志表；

記錄實際執行的SQL腳本的SQL日志表；

記錄數據處理完成后的數據量的變化日志表；

記錄數據處理過程中的異常信息的異常信息表。

5.根據權利要求4所述的一種互聯網采集數據的過程化處理方法，其特征在于，上述執行日志表通過具有記錄存儲過程執行情況的函數記錄，該函數通過輸入參數，將輸入參數相關信息保存到執行日志表中，這里的輸入參數包括：過程名稱、執行標志、執行時間、存儲過程生成的目標數據量，這里的執行標志是指開始或結束兩種標志。

6.根據權利要求4所述的一種互聯網采集數據的過程化處理方法，其特征在于，所述變化日志表通過記錄數據處理完成后的數據量的函數實現，該函數通過輸入參數，將輸入參數相關信息保存至該變化日志表中，其輸入參數包括：存儲過程名稱、目標表名稱、目標表本次新增記錄數、新增記錄時間。

7.根據權利要求4所述的一種互聯網采集數據的過程化處理方法，其特征在于，所述異常信息表通過記錄存儲過程執行異常情況的函數實現，該函數通過輸入參數，將將輸入參數相關信息保存到異常信息表中，其輸入參數包括：存儲過程名稱、執行異常時間、執行異常代碼、執行異常信息。