[發明專利]一種數據導入系統及基于該系統的數據導入方法

在審

• 申請號: 201710225255.1
• 申請日: 2017-04-07
• 公開（公告）號: CN107016096A
• 公開（公告）日: 2017-08-04
• 發明（設計）人: 鄧瑞芳;張曉艷
• 申請（專利權）人: 北京六古廣告傳媒有限責任公司;北京吉爾伽美什科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京卓唐知識產權代理有限公司11541
• 代理人: 龔潔

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據導入系統及基于該系統的數據導入方法。

背景技術

經濟的全球化，給企業帶來了無限商機，同時也給企業帶來越來越大的壓力。業務的迅速擴展，使企業的信息化程度需要急速提升，而企業的核心數據處理速度現成為抑制企業信息溝通的瓶頸。

對于各類企業，隨著業務的增多與商業全球化，企業通常通過信息系統統一存儲各種業務數據、產品數據和員工管理數據等等，均需要將大量數據導入數據系統中以進行查閱、存儲和實施管理。

以往，導入原始數據這一工作通常由人工完成：即人工進行原始數據的識別、篩選以及最后導入。如此，存在如下不足之處：一是效率低下，人工導入原始數據浪費了大量時間；二是容易出錯，人工導入原始數據很容易出錯；三是導入可能不及時。以業務數據為例：當企業與客戶處在地球的不同時區時，相互之間的數據溝通就需要跨時區進行，如果客戶數據信息的導入必須由人工完成，當客戶與企業的工作時間不同時，勢必造成客戶數據信息與企業信息系統的溝通不能在第一時間進行，使客戶與企業雙方失去大量業務處理的有效時機。

為了解決上述技術問題，現有技術中出現了大量的改進技術，例如現有技術中的分布式順序表(Distributed Ordered Table簡稱DOT)是一種最適用于海量數據(TB到PB級)下的數據庫系統，有效實現大量數據信息的導入。但針對該數據導入方式，由于數據量過大，使用DOT提供的接口導入的時候，需要自上而下逐級尋找Region分片的位置，導致導入數據時間漫長，效率低下。

由此可見，能否基于現有技術中的不足，提供一種改進的數據導入技術，能夠滿足對海量數據導入需求，極大地提高數據導入速度。成為本領域技術人員家亟待解決的技術難題。

發明內容

本發明為了解決上述技術問題，提供一種數據導入系統及基于該系統的數據導入方法，能夠對海量數據進行導入和處理，極大地提高數據導入速度。

為了達到上述技術效果，本發明包括以下技術方案：

一種數據導入系統，包括相互連接的應用服務器和計算機，所述計算機用于提供數據信息，其特征在于，所述服務器包括數據接收模塊、數據處理模塊和數據存儲模塊；

所述數據接收模塊用于接收計算機提供的數據信息并將所述數據信息發送至數據處理模塊；

所述數據處理模塊用于將接收的數據信息導入界面，并提供相應數據模板和格式信息，將所述數據信息與數據模板和格式信息相結合，生成數據文件，將所述數據文件發送至數據存儲模塊；

所述數據存儲模塊，用于接收所述數據文件，并將所述數據文件存儲至數據庫中。

進一步的，所述數據模板是根據數據信息類型進行預先設定。

進一步的，所述數據模板為Excel數據模板，所述Excel數據模板中包括至少一個頁簽；

在所述頁簽中包括數據信息類型編號、與所述數據信息類型相關的一類數據中的多個屬性數據；

所述獲取的數據文件為Excel數據文件。

進一步的，所述數據信息包括至少一個如下的信息：數據編號、數據名稱、日期、摘要、自定義字段和與數據信息類型相關的文字信息；

所述格式信息包括至少一個如下的信息：數據信息類型、長度、是否是必錄信息和自定義格式。

進一步的，所述數據獲取模塊還用于將已接收的數據信息與待接收的數據信息比對，若已接收的數據信息的數據名稱與待接收的數據信息的數據名稱一致，則待接收的數據信息導入失敗，若已接收的數據信息的數據名稱與待接收的數據信息的數據名稱不一致，則待接收的數據信息導入成功。

進一步的，所述數據導入系統還包括數據檢測模塊，所述數據處理模塊將所述數據文件發送至數據檢測模塊，所述數據檢測模塊用于對所述數據文件中的數據進行校驗，并將校驗后的數據文件發送至數據存儲模塊。

一種基于上述數據導入系統的數據導入方法，包括以下步驟：

步驟一：接收計算機提供的數據信息；

步驟二：將接收的所述數據信息導入界面，并將所述數據信息與數據模板和格式信息相結合，生成數據文件；

步驟三：將所述數據文件進行存儲。

進一步的，所述步驟一還包括以下步驟：在接受計算機提供的數據信息時，將已接收的數據信息與待接收的數據信息比對，若已接收的數據信息的數據名稱與待接收的數據信息的數據名稱一致，則待接收的數據信息導入失敗，若已接收的數據信息的數據名稱與待接收的數據信息的數據名稱不一致，則待接收的數據信息導入成功；