[發明專利]支持分布式多文件導入的系統及方法

有效

• 申請號: 201710006711.3
• 申請日: 2017-01-05
• 公開（公告）號: CN106612330B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 植輝
• 申請（專利權）人: 廣州慧睿思通信息科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/861
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種支持分布式多文件導入的系統，其特征在于，包括服務層、業務處理層以及數據庫，所述服務層，為用戶體現了服務的接口；所述業務處理層，對業務數據進行處理；所述數據庫，記錄導入服務的一些基礎數據，并保存文件的臨時數據，文件數據讀取出來后都保存在數據庫中，后續的數據驗證，導入都直接操作數據庫數據；

所述服務層包括文件保存服務模塊、數據讀取與驗證請求模塊、以及目標數據傳輸模塊；所述文件保存服務模塊，用于提供給用戶上傳文件的服務，可單獨使用該服務，也可以作為文件服務器，用作保存文件；所述數據讀取與驗證請求模塊，用于用戶在完成文件上傳后，調用該請求把文件數據讀取出來并批量插入到數據庫中，并執行驗證存儲過程以進行數據驗證；所述目標數據傳輸模塊，用于在執行完成數據插入后，讀取數據并對數據進行結構化整理，并將數據返回給用戶；

所述業務處理層包括文件讀取組件、消息隊列組件、數據驗證組件、以及數據庫操作組件；所述文件讀取組件，用于對多種格式的文檔進行讀取，并保證讀取的組件可擴展；所述消息隊列組件，用于根據服務所分配的資源，對服務的使用做限制，同時對并發數根據服務器資源進行配置，當并發數量大于配置數時，服務的請求將進入消息隊列，只有之前請求的服務完成文件讀取，并釋放資源后，請求從消息隊列調出并執行請求；所述數據驗證組件，用作對數據的驗證，數據驗證的方法由存儲過程實現，而存儲過程與數據類別驗證的映射關系會保存在數據表中，該組件的最大作用就是處理存儲過程與數據類別驗證的映射關系，并執行存續過程進行數據驗證；所述數據庫操作組件，是對數據庫訪問、操作的類，該服務中所有對數據庫的操作最終都會應用該組件進行實現，包括執行數據驗證的存儲過程。

2.根據權利要求1所述的一種支持分布式多文件導入的系統，其特征在于，所述文件讀取組件是對txt文件、excel文件、csv文件、word格式文件的讀取。

3.根據權利要求1所述的一種支持分布式多文件導入的系統，其特征在于，所述數據庫為輕量級數據庫，選用Mysql數據庫或者微軟的Access。

4.一種支持分布式多文件導入的方法，其特征在于，包括下述步驟：

S1、請求文件保存服務，對文件進行上傳，完成上傳后，把文件記錄保存到數據庫中；

S2、請求數據讀取與數據驗證：

S2.1、收到請求后，服務首先根據當前請求的用戶數判斷是否超過配置的最大數量，如果大于則把請求插入到消息隊列中，等待前面請求的用戶完成后，才能處理請求；

S2.2、數據讀取與插入數據庫，調用文件讀取組件，讀取文件的數據，并根據讀取出來的數據結構在數據庫中生成對應的臨時表，將數據批量插入到臨時表中，并釋放讀取文件的資源；具體的：

以數據表格式從文檔中讀取出數據，數據表包括了數據行與數據列，根據數據列的數量定義臨時表，表名和欄位名稱的定義由規則定義在數據庫中生成物理表，并在數據庫中記錄文件名與數據表的映射關系、文件數據欄位與臨時表欄位的映射關系，然后把數據都插入到臨時表中，完成數據庫對文件數據的存儲，同時根據該結構生成一個記錄異常數據的數據表，最后釋放讀取文件的資源；

S2.3、根據請求中的數據類型，根據映射關系找到該數據類型的數據驗證存儲過程，并調用存儲過程，將不符合規范的數據抽取到數據錯誤的驗證表，并在臨時表中刪除這些數據；具體為：

在確定數據要求與數據格式的情況下，通過數據庫存儲過程對數據進行驗證篩選，數據驗證的存儲過程通過創建歷史表時產生的映射關系，可以確定表結構的信息，根據驗證的規則，把異常數據抽取到對應的異常數據表，其中在生成臨時表的同時生成了對應的異常數據表；

S3、最終數據的返回，讀取驗證之后的數據，并返回最終的數據給用戶，用戶可以直接拿到數據做批量插入，從而完成文件數據導入；

S4、完成數據導入后，刪除導入服務的臨時數據、臨時表結構、臨時配置數據。

5.根據權利要求4所述支持分布式多文件導入的方法，其特征在于，步驟S3中，在讀取驗證的數據時，進行分批次讀取，每批次讀取N條數據，數據數可配置。

6.根據權利要求4所述支持分布式多文件導入的方法，其特征在于，步驟S3中，還包括下述步驟：

把數據轉換成用戶指定的數據結構，所述數據結構是與數據格式相對應的實體。