[發明專利]數據加工方法及系統

有效

• 申請號: 201410855040.4
• 申請日: 2014-12-31
• 公開（公告）號: CN104462604B
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 吳錦德
• 申請（專利權）人: 成都市卓?？萍加邢薰?/a>
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/07
• 代理公司: 四川省成都市天策商標專利事務所51213
• 代理人: 秦華云

1.一種數據加工方法，其特征在于包括如下步驟：

步驟A：從數據源采集數據，將采集的數據轉化為統一的格式存入第一數據庫；

步驟B：對第一數據庫中的數據進行加工整理，所述加工整理具體包括原始數據清理、數據格式化處理、數據對比、數據關聯處理、數據二次加工；

步驟C：對加工整理后的數據進行校驗；

步驟D：將校驗后的數據根據應用需求輸出至第二數據庫，所述第二數據庫為業務系統的數據庫；

所述數據源為數據庫系統和/或互聯網；

從互聯網采集數據的方法包括：目標網站定位；網頁源碼分析；網站數據建模；數據抓取；

所述步驟C中的校驗為數據唯一性校驗、數據格式校驗或數據合理性校驗；

所述數據唯一性校驗具體包括對數據表一個字段進行單一性檢索或對多個字段的組合進行單一性檢索；

所述數據格式校驗包括對數據的類型進行檢索；

所述數據的合理性校驗包括對日期、字符長度、類型進行判斷；

所述原始數據清理具體包括明顯錯誤數據處理、重復數據處理和數據合并處理；

所述數據格式化處理包括特殊字符的刪除與替換；

所述數據對比包括將不同數據源的數據根據數據字段進行對比，然后將同類數據整合至數據表中并根據時間節點形成數據歷史表；

所述數據關聯處理包括將不同數據表中相關聯的數據進行標引，并建立索引關系；

所述數據二次加工包括針對原始數據的數據挖掘建立數據索引。

2.根據權利要求1所述的數據加工方法，其特征在于從數據庫系統采集數據的方法為：利用數據轉化工具將數據庫系統中的數據批量導入到第一數據庫中。

3.一種數據加工系統，其特征在于包括數據采集模塊、數據加工模塊、數據校驗模塊和數據導出模塊，

所述數據采集模塊用于從數據源采集數據，并將采集的數據轉化為統一的格式存入第一數據庫；

所述數據加工模塊用于對第一數據庫中的數據進行加工整理，所述數據加工模塊具體包括原始數據清理模塊、數據格式化處理模塊、數據對比模塊、數據關聯處理模塊、數據二次加工模塊；

所述數據校驗模塊用于對加工整理后的數據進行校驗；

所述數據導出模塊用于將校驗后的數據根據應用需求輸出至第二數據庫，所述第二數據庫為業務系統的數據庫；

所述數據校驗模塊具體包括數據唯一性校驗模塊、數據格式校驗模塊或數據合理性校驗模塊，

所述數據唯一性校驗模塊用于對數據表一個字段進行單一性檢索或對多個字段的組合進行單一性檢索；

所述數據格式校驗模塊用于對數據的類型進行檢索；

所述數據合理性校驗模塊用于對日期、字符長度、類型進行判斷；

所述原始數據清理模塊用于明顯錯誤數據處理、重復數據處理和數據合并處理；

所述數據格式化處理模塊用于特殊字符的刪除與替換；

所述數據對比模塊用于將不同數據源的數據根據數據字段進行對比，然后將同類數據整合至數據表中并根據時間節點形成數據歷史表；

所述數據關聯處理模塊用于將不同數據表中相關聯的數據進行標引，并建立索引關系；

所述數據二次加工模塊用于針對原始數據的數據挖掘建立數據索引。