[發明專利]一種數據處理系統及方法

在審

• 申請號: 201810792868.8
• 申請日: 2018-07-18
• 公開（公告）號: CN109033324A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 汪向前
• 申請（專利權）人: 北京京安佳新技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 唐維虎

本申請實施例提供了一種數據處理系統及方法，其中，該系統包括：模板管理模塊，用于存儲多種數據處理通用模板；模板構建模塊，用于按照用戶輸入的腳本指令，獲取所述腳本指令對應的數據處理通用模板，基于獲取的數據處理通用模板構建數據處理定制模板，所述腳本指令依據待處理源數據的處理類型生成；數據輸入模塊，用于接收輸入的所述待處理源數據，并將所述待處理源數據發送至數據處理模塊；數據處理模塊，用于接收到所述待處理源數據后，通過構建的所述數據處理定制模板對所述待處理源數據進行處理后輸出。本申請實施例降低了對大量數據的處理難度。

技術領域

本申請涉及大數據技術領域，具體而言，涉及一種數據處理系統及方法。

背景技術

如今，隨著技術的發展，越來越多的企業或工廠都開始使用電子化管理，在這過程中就必然會產生大量的數據，如何將這些數據快速地導入數據庫以便及時進行數據處理就成為了一個迫切需要解決的問題。

現有技術中，在大量數據導入數據庫之前，會預先對這些大量數據進行預先處理，以確保這些數據能夠滿足預先設定的存儲格式，由于這些大量數據可能來自不同的源數據庫，且每個源數據庫中的存儲格式各不相同，在對這些數據進行預處理時，需要分別建立與各個數據對應的不同的處理方法，當有大量不同格式的數據需要進行預處理時，就會較為繁瑣。

綜上，目前對數據進行預處理時，需要建立與各個數據對應的不同的處理方法，在執行時較為繁瑣。

發明內容

有鑒于此，本申請的目的在于提供一種數據處理系統及方法，以降低對大量數據的處理難度。

第一方面，本申請實施例提供了一種數據處理系統，包括：

模板管理模塊，用于存儲多種數據處理通用模板；

模板構建模塊，用于按照用戶輸入的腳本指令，獲取所述腳本指令對應的數據處理通用模板，基于獲取的數據處理通用模板構建數據處理定制模板，所述腳本指令依據待處理源數據的處理類型生成；

數據輸入模塊，用于接收輸入的所述待處理源數據，并將所述待處理源數據發送至數據處理模塊；

所述數據處理模塊，用于接收到所述待處理源數據后，通過構建的所述數據處理定制模板對所述待處理源數據進行處理后輸出。

結合第一方面，本申請實施例提供了第一方面的第一種可能的實施方式，所述數據處理系統還包括：

子處理類型代碼塊生成模塊，用于對各處理類型包含的子處理類型進行統計，得到子處理類型集，為所述子處理類型集中的每一子處理類型生成對應的子處理類型代碼塊，將所述子處理類型代碼塊發送至所述模板管理模塊。

結合第一方面的第一種可能的實施方式，本申請實施例提供了第一方面的第二種可能的實施方式，所述模板管理模塊，包括：

代碼接收子模塊，用于接收輸入的子處理類型代碼塊，并將所述子處理類型代碼塊發送至所述通用模板生成子模塊；

通用模板生成子模塊，用于存儲由所述子處理類型代碼塊和所述子處理類型代碼塊對應的子處理類型組成的數據處理通用模板。

結合第一方面，本申請實施例提供了第一方面的第三種可能的實施方式，所述數據輸入模塊在接收輸入的所述待處理源數據之后，具體用于：

檢測所述源數據是否符合預設格式，若否，按照預設格式對所述待處理源數據進行格式轉換，并將格式轉換后的待處理源數據發送至所述數據處理模塊；

若是，將所述待處理源數據發送至所述數據處理模塊。

結合第一方面，本申請實施例提供了第一方面的第四種可能的實施方式，所述待處理源數據包括多種類型的數據，所述數據輸入模塊包括多種類型的數據接口，每一類型的數據接口對應接收一類型的數據。