[發明專利]一種基于配置策略處理excel錄入數據的方法及系統

在審

• 申請號: 201711425311.2
• 申請日: 2017-12-25
• 公開（公告）號: CN107992628A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 王雙成
• 申請（專利權）人: 成都優易數據有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都弘毅天承知識產權代理有限公司51230
• 代理人: 徐金瓊,劉東

技術領域

本發明涉及數據清洗領域，具體涉及一種基于配置策略處理excel錄入數據的方法及系統。

背景技術

數據清洗(Data cleaning)是對數據進行重新審查和校驗的過程，目的在于刪除重復信息、糾正存在的錯誤，并提供數據一致性。現階段通信發展迅速，很多公司都設置有子公司分公司等，各個公司之間還設置有相應的部門，各個部門之間需要相互的協作和溝通，每個部門之間的數據有差異，但是有時候各個部分之間的數據又需要相互的轉達使用，如果各個部門的數據不能協調，就會形成數據孤島，也就是部門之間的數據溝通難，成本高。以excel表格為例，采購部門記錄的通常就是采購物資類型，采購金額，采購數量等，而會計部門需要進行計算，那么則需要采購部門的數據來計算固定資產和流動資產等，但是如果數據差別大，那么會計部分收到采購部門的數據之后還需要對項目進行類別判斷，人工統計，如果公司小一些事情不麻煩，如果公司較大，將需要大量的人力進行數據整合等，造成公司的工作效率不高，人力資源過高。

現有提供了一些數據清洗方式，可以對冗余的數據以及無效數據進行刪除等，最后保留有效數據等，但是這些清洗方式并不通用，試想一下金融行業的數據清洗與一個制造行業的數據清洗相差巨大，適用于某類行業的數據處理方法并不一定適合另外的行業，那么就會造成每個公司或者每個行業都需要找其他人員建立一個相應的數據清洗方法，那么如何建立一個行業通用的數據清洗方法對于提升行業間的溝通等有重要作用。

發明內容

本發明的目的在于：針對現有技術中數據清洗方法靈活度低而造成數據清洗方法并不適用于其他行業或者相應數據無法靈活導入導出的問題，本發明提供了一種基于配置策略處理excel錄入數據的方法及系統。

本發明采用的技術方案如下：

一種基于配置策略處理excel錄入數據的方法，包括以下步驟：

步驟1：以正則表達式構建過濾策略庫；

步驟2：根據行業規則建立各個行業對應的基礎清洗策略庫；

步驟3：根據用戶所在行業獲取對應的基礎清洗策略庫，根據用戶的需求對基礎清洗策略庫的策略自定義編輯得到自定義清洗策略庫；

步驟4：導入用戶待清洗的數據內容，根據步驟1中的過濾策略庫對數據內容進行過濾為內容正確數據和內容錯誤數據；

步驟5：根據步驟3中的自定義清洗策略庫對步驟4中的內容錯誤數據進行清洗得到清洗數據結果，并對清洗數據結果進行糾正得到糾正后的清洗數據和無法糾正的清洗數據；

步驟6：將步驟4的內容正確數據和步驟5中的糾正后的清洗數據拼接得到數據庫表。

上述方案中，具體地，所述過濾策略庫、基礎清洗策略庫和自定義清洗策略庫均是統一接口的方式供用戶調用。

上述方案中，具體地，所述步驟1中的過濾策略庫包括每個策略的名稱和每個策略的表達式內容。

上述方案中，具體地，所述步驟5中的無法糾正的清洗數據直接導出。

一種基于配置策略處理excel錄入數據的系統，包括過濾策略構建模塊、基礎清洗策略構建模塊、自定義清洗策略構建模塊、數據解析導入模塊和自動建表模塊；

所述數據解析導入模塊，導入用戶待清洗的數據內容；

所述過濾策略構建模塊，生成過濾策略庫，獲取數據解析導入模塊發送的用戶待清洗的數據內容，并根據過濾策略庫對用戶待清洗的數據內容過濾分為內容正確數據和內容錯誤數據；

所述基礎清洗策略構建模塊，建立各個行業對應的基礎清洗策略庫；

所述自定義清洗策略構建模塊，獲取基礎清洗策略構建模塊發送的用戶所在行業的基礎清洗策略庫，并根據用戶所在行業的基礎清洗策略庫定義編輯得到自定義清洗策略庫，根據自定義清洗策略庫對過濾策略構建模塊發送的內容錯誤數據清洗得到清洗數據結果，并對清洗數據結果行糾正得到糾正后的清洗數據和無法糾正的清洗數據；

所述自動建表模塊，獲取過濾策略構建模塊發送的內容正確數據以及獲取自定義清洗策略構建模塊發送的糾正后的清洗數據，并將內容正確數據和糾正后的清洗數據拼接得到數據庫表。

上述方案中，具體地，所述過濾策略構建模塊以正則表達式生成過濾策略庫。

上述方案中，具體地，所述數據解析導入模塊，以表格的形式將數據導入。

上述方案中，具體地，還包括無效數據導出模塊，接收自定義清洗策略構建模塊發送的無法糾正的清洗數據并導出。

綜上所述，由于采用了上述技術方案，本發明的有益效果是：