[發明專利]支持分布式多文件導入的系統及方法

有效

• 申請號: 201710006711.3
• 申請日: 2017-01-05
• 公開（公告）號: CN106612330B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 植輝
• 申請（專利權）人: 廣州慧睿思通信息科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/861
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種支持分布式多文件導入的系統及方法，系統包括服務層、業務處理層以及數據庫，所述服務層，為用戶體現了服務的接口；所述業務處理層，對業務數據進行處理；所述數據庫，記錄導入服務的一些基礎數據，并保存文件的臨時數據，文件數據讀取出來后都保存在數據庫中，后續的數據驗證，導入都直接操作數據庫數據；本發明的方法的支持對文件的傳輸，數據讀取、數據驗證、數據結構化、數據傳輸、文件保存。以滿足對文件數據的識別、導入，而且該服務是獨立的，不會對系統的客戶端或服務端造成任何的影響。

技術領域

本發明涉及對多文件處理的研究領域，特別涉及一種支持分布式多文件導入的系統及方法。

背景技術

隨著信息化的發展，各企業間都出現了各種功能的企業化軟件，數據導入是數據的重要來源。隨著數據量的積累，需要導入的數據量也越來越大，這些數據有可能是以文檔的方式保存，如excel文檔、csv文檔、word文檔、txt文檔等等。軟件對文檔進行數據讀取，對數據進行驗證，轉換數據結構，把數據批量插入到數據庫，形成系統數據。

目前對于數據文件的導入實現方法主要是兩種：

在客戶端讀取文件數據，對數據進行驗證后形成結構化的數據，將數據傳輸到服務端，對數據進行批量插入。該實現方法對于數據量小的文件，在客戶端進行讀取驗證是完全沒問題；但是如果對于大文件的數據導入，在進行文件數據讀取時會消耗客戶端的大量資源，導致系統卡頓、不能正常使用，甚至系統內存溢出導致系統崩潰。

在服務端進行大文件數據的讀取，通常服務器的配置較好。對于單個大文件數據讀取，相對于服務器資源占用較少，不會對服務器造成影響；但同時(并發)處理多個大文件數據讀取時，則會占用服務器大量的資源，有可能直接影響其他客戶端對于系統的使用，影響系統使用體驗。如果對于占用的資源不能及時的釋放，可能最終導致服務器崩潰，對系統的影響更是致命的。

針對以上風險，我們需要一種支持分布式多文件導入的方法，以解決對于大文件數據導入的問題。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種支持分布式多文件導入的系統及方法，該方法支持對文件的傳輸、數據讀取、數據驗證、數據結構化、數據傳輸、文件保存。

為了達到上述目的，本發明采用以下技術方案：

本發明的一種支持分布式多文件導入的系統，包括服務層、業務處理層以及數據庫，所述服務層，為用戶體現了服務的接口；所述業務處理層，對業務數據進行處理；所述數據庫，記錄導入服務的一些基礎數據，并保存文件的臨時數據，文件數據讀取出來后都保存在數據庫中，后續的數據驗證，導入都直接操作數據庫數據；

所述服務層包括文件保存服務模塊、數據讀取與驗證請求模塊、以及目標數據傳輸模塊；所述文件保存服務模塊，用于提供給用戶上傳文件的服務，可單獨使用該服務，也可以作為文件服務器，用作保存文件；所述數據讀取與驗證請求模塊，用于用戶在完成文件上傳后，調用該請求把文件數據讀取出來并批量插入到數據庫中，并執行驗證存儲過程以進行數據驗證；所述目標數據傳輸模塊，用于在執行完成數據插入后，讀取數據并對數據進行結構化整理，并將數據返回給用戶；

所述業務處理層包括文件讀取組件、消息隊列組件、數據驗證組件、以及數據庫操作組件；所述文件讀取組件，用于對多種格式的文檔進行讀取，并保證讀取的組件可擴展；所述消息隊列組件，用于根據服務所分配的資源，對服務的使用做限制，同時對并發數根據服務器資源進行配置，當并發數量大于配置數時，服務的請求將進入消息隊列，只有之前請求的服務完成文件讀取，并釋放資源后，請求從消息隊列調出并執行請求；所述數據驗證組件，用作對數據的驗證，數據驗證的方法由存儲過程實現，而存儲過程與數據類別驗證的映射關系會保存在數據表中，該組件的最大作用就是處理存儲過程與數據類別驗證的映射關系，并執行存續過程進行數據驗證；所述數據庫操作組件，是對數據庫訪問、操作的類，該服務中所有對數據庫的操作最終都會應用該組件進行實現，包括執行數據驗證的存儲過程。