[發明專利]數據加工方法及系統

有效

• 申請號: 201410855040.4
• 申請日: 2014-12-31
• 公開（公告）號: CN104462604B
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 吳錦德
• 申請（專利權）人: 成都市卓睿科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/07
• 代理公司: 四川省成都市天策商標專利事務所51213
• 代理人: 秦華云

技術領域

本發明涉及計算機信息處理技術領域，特別涉及一種數據加工方法及系統。

背景技術

隨著大數據相關領域快速發展，將不同系統、不同數據庫的數據進行整合，并應用到新的數據應用軟件中或者進行數據的深度挖掘已成為大數據領域的發展方向。目前，在數據加工方面最大的難點在于由于數據來源不同、數據的時間節點不同、數據的應用需求不同，導致數據的統一性、完整性殘缺，影響數據的整合和利用。

發明內容

【要解決的技術問題】

本發明的目的是提供一種數據加工方法及系統，以解決數據加工過程中數據整合利用困難的問題。

【技術方案】

本發明是通過以下技術方案實現的。

本發明涉及一種數據加工方法，該方法包括以下步驟：

步驟A：從數據源采集數據，將采集的數據轉化為統一的格式存入第一數據庫；

步驟B：對第一數據庫中的數據進行加工整理，所述加工整理具體包括原始數據清理、數據格式化處理、數據對比、數據關聯處理、數據二次加工；

步驟C：對加工整理后的數據進行校驗；

步驟D：將校驗后的數據根據應用需求輸出至第二數據庫，所述第二數據庫為業務系統的數據庫。

作為一種優選的實施方式，所述數據源為數據庫系統和/或互聯網。

作為另一種優選的實施方式，從數據庫系統采集數據的方法為：利用數據轉化工具將數據庫系統中的數據批量導入到第一數據庫中。

作為另一種優選的實施方式，從互聯網采集數據的方法包括：目標網站定位；網頁源碼分析；網站數據建模；數據抓取。

作為另一種優選的實施方式，所述步驟C中的校驗為數據唯一性校驗、數據格式校驗或數據合理性校驗。

作為另一種優選的實施方式，所述數據唯一性校驗具體包括對數據表一個字段進行單一性檢索或對多個字段的組合進行單一性檢索；

所述數據格式校驗包括對數據的類型進行檢索；

所述數據的合理性校驗包括對日期、字符長度、類型進行判斷。

作為另一種優選的實施方式，所述原始數據清理具體包括明顯錯誤數據處理、重復數據處理和數據合并處理；

所述數據格式化處理包括特殊字符的刪除與替換；

所述數據對比包括將不同數據源的數據根據數據字段進行對比，然后將同類數據整合至數據表中并根據時間節點形成數據歷史表；

所述數據關聯處理包括將不同數據表中相關聯的數據進行標引，并建立索引關系；

所述數據二次加工包括針對原始數據的數據挖掘建立數據索引。

本發明還涉及一種數據加工系統，該系統包括數據采集模塊、數據加工模塊、數據校驗模塊和數據導出模塊，

所述數據采集模塊用于從數據源采集數據，并將采集的數據轉化為統一的格式存入第一數據庫；

所述數據加工模塊用于對第一數據庫中的數據進行加工整理，所述加工模塊具體包括原始數據清理模塊、數據格式化處理模塊、數據對比模塊、數據關聯處理模塊、數據二次加工模塊；

所述數據校驗模塊用于對加工整理后的數據進行校驗；

所述數據導出模塊用于將校驗后的數據根據應用需求輸出至第二數據庫，所述第二數據庫為業務系統的數據庫。

作為一種優選的實施方式，所述數據校驗模塊具體包括數據唯一性校驗模塊、數據格式校驗模塊或數據合理性校驗模塊，

所述數據唯一性校驗模塊用于對數據表一個字段進行單一性檢索或對多個字段的組合進行單一性檢索；

所述數據格式校驗模塊用于對數據的類型進行檢索；

所述數據合理性校驗模塊用于對日期、字符長度、類型進行判斷。

作為另一種優選的實施方式，所述原始數據清理模塊用于明顯錯誤數據處理、重復數據處理和數據合并處理；

所述數據格式化處理模塊用于特殊字符的刪除與替換；

所述數據對比模塊用于將不同數據源的數據根據數據字段進行對比，然后將同類數據整合至數據表中并根據時間節點形成數據歷史表；

所述數據關聯處理模塊用于將不同數據表中相關聯的數據進行標引，并建立索引關系；

所述數據二次加工模塊用于針對原始數據的數據挖掘建立數據索引。

【有益效果】

本發明提出的技術方案可以將不同數據源的數據統一加工處理以滿足數據整合利用的需要。

附圖說明

圖1為本發明的實施例一提供的數據加工系統的結構框圖；

圖2為本發明的實施例二提供的數據加工方法的流程圖；