[發明專利]一種基于多線程技術的EXCEL數據導入

無效

• 申請號: 201110300206.2
• 申請日: 2011-10-09
• 公開（公告）號: CN103034647A
• 公開（公告）日: 2013-04-10
• 發明（設計）人: 朱煒;王志剛
• 申請（專利權）人: 鎮江雅迅軟件有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種數據導入技術，尤其是一種基于多線程技術的EXCEL數據導入。本發明屬于通信技術領域。

背景技術

信息管理系統是當前信息管理的主要手段和工具，數據庫技術是大多數信息管理系統中重要的組成部分。數據庫技術的不斷進步給各行業的信息管理工作帶來了極大的方便，但在工作效率提高的同時，隨著技術的發展，多種不同數據庫之間的數據轉換問題也越來越突出。很多單位在長時間的日常工作中積累了大量數據，并為存儲和管理這些數據不斷投資。然而由于實施數據管理系統的階段性、技術性以及其他經濟和人為因素的影響，以至即使在單獨業務部門，采用的數據管理系統也大不相同，從簡單的文件數據庫到復雜的網絡數據庫，他們構成了該部門的異構數據源。如何高效的共享這些異構數據源的數據已經成為信息系統建設和集成所面臨的一個重要問題。而EXECL數據導入技術提供了一種有效的解決方案。

數據的導入、導出是指在不同應用之間按普通格式讀寫數據，從而實現交換的過程。目前流行的主流數據庫和數據庫開發軟件自帶的數據轉換工具依托強大的技術有事和良好的應用環境，在一定范圍和應用條件下具有比較強大的功能。但是目前現在主流的數據庫產品太多，不同的產品對其他產品的兼容性都不是很好。管理軟件的復雜程度往往很難讓普通用戶可以自行進行數據導入。而且異構數據源的數據轉換、數據導入的效率都不是十分理想，特別對大批量數據，往往對會服務器造成很大的壓力。

現有的技術存在如下的弊端：數據導入的檢驗性差，往往對數據的類型、格式的驗證都比較薄弱。大批量數據導入的速度慢，導致數據在傳輸過程中容易出錯。數據轉換的性能和出錯率高。而且不同的數據源所需要的環境都不同，服務器的環境配置比較復雜。

本發明要解決的問題是提供一種多線程技術的EXCEL數據導入。本方法采用了多線程技術更好地利用系統資源。其主要優勢在于充分利用了CPU的空閑時間片，可以用盡可能少的時間來對用戶的要求做出響應，使得進程的整體運行效率得到較大提高，同時增強了應用程序的靈活性。更為重要的是，由于同一進程的所有線程是共享同一內存，所以不需要特殊的數據傳送機制，不需要建立共享存儲區或共享文件，從而使得不同任務之間的協調操作與運行、數據的交互、資源的分配等問題更加易于解決。很顯然，本發明更能方便、有效、安全的滿足客戶的需要。

發明內容

本發明的目的在于：針對以上現有技術存在的不足，實現一種基于多線程技術的EXCEL數據導入，以克服現有技術的數據轉換差、導入效率低、浪費性能等問題。為了達到以上目的，本發明包含如下模塊：

創建模塊——選擇需要導入的EXCEL，創建UI界面。

驗證模塊——對EXCEL的數據類型進行驗證，并給出驗證數據，給下個模塊使用。

轉換模塊——對錯誤的數據類型進行轉換，并顯示在UI界面上，用戶可以手動進行轉換。

創建線程模塊——按照導入數據的大小根據指定的算法創建線程個數。

并行導入模塊——線程同時進行導入，導入后生成報告。

為實現本發明的功能，上述功能模塊還包括如下子模塊：

驗證模塊——驗證數據格式子模塊

——驗證數據格式的正確性。并把驗證錯誤的消息發送到轉換模塊，便于數據的轉換。

創建線程模塊——計算子模塊

——按照數據的大小、數據的行數進行線程數的計算，以便創建最高效率的線程數。

并行導入模塊——銷毀子模塊、生成日志子模塊

——數據導入完，線程自動銷毀。并且釋放資源。

——將導入后的結果生成到日志，便于系統的跟蹤和回滾。

使用步驟為：

步驟一：創建組件。系統檢測本組件需要的環境，并自動配置服務器中的環境。

步驟二：用戶選擇需要導入的EXCEL文檔。

步驟三：導入后的文檔以UI的方式顯示給用戶。并提示出驗證數據的結果，和轉換后數據格式的建議。用戶也可以手動的修改數據和數據格式。只要數據和數據格式修改系統會自動驗證。防止用戶誤操作后對數據導入的影響。

步驟四：按照數據的大小，數據的行數創建線程。各線程以并行的方式進行操作。

步驟五：數據導入到系統。線程自動銷毀，釋放資源。并生成日志文件。

如此，通過本發明，節省了導入數據的時間。保證了數據的正確性。便于數據間的交互。

具體實施方式

實施例一