[發(fā)明專(zhuān)利]一種基于多線程技術(shù)的EXCEL數(shù)據(jù)導(dǎo)入

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110300206.2
• 申請(qǐng)日: 2011-10-09
• 公開(kāi)（公告）號(hào): CN103034647A
• 公開(kāi)（公告）日: 2013-04-10
• 發(fā)明（設(shè)計(jì)）人: 朱煒;王志剛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 鎮(zhèn)江雅迅軟件有限責(zé)任公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)導(dǎo)入技術(shù)，尤其是一種基于多線程技術(shù)的EXCEL數(shù)據(jù)導(dǎo)入。本發(fā)明屬于通信技術(shù)領(lǐng)域。

背景技術(shù)

信息管理系統(tǒng)是當(dāng)前信息管理的主要手段和工具，數(shù)據(jù)庫(kù)技術(shù)是大多數(shù)信息管理系統(tǒng)中重要的組成部分。數(shù)據(jù)庫(kù)技術(shù)的不斷進(jìn)步給各行業(yè)的信息管理工作帶來(lái)了極大的方便，但在工作效率提高的同時(shí)，隨著技術(shù)的發(fā)展，多種不同數(shù)據(jù)庫(kù)之間的數(shù)據(jù)轉(zhuǎn)換問(wèn)題也越來(lái)越突出。很多單位在長(zhǎng)時(shí)間的日常工作中積累了大量數(shù)據(jù)，并為存儲(chǔ)和管理這些數(shù)據(jù)不斷投資。然而由于實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其他經(jīng)濟(jì)和人為因素的影響，以至即使在單獨(dú)業(yè)務(wù)部門(mén)，采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡(jiǎn)單的文件數(shù)據(jù)庫(kù)到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，他們構(gòu)成了該部門(mén)的異構(gòu)數(shù)據(jù)源。如何高效的共享這些異構(gòu)數(shù)據(jù)源的數(shù)據(jù)已經(jīng)成為信息系統(tǒng)建設(shè)和集成所面臨的一個(gè)重要問(wèn)題。而EXECL數(shù)據(jù)導(dǎo)入技術(shù)提供了一種有效的解決方案。

數(shù)據(jù)的導(dǎo)入、導(dǎo)出是指在不同應(yīng)用之間按普通格式讀寫(xiě)數(shù)據(jù)，從而實(shí)現(xiàn)交換的過(guò)程。目前流行的主流數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)開(kāi)發(fā)軟件自帶的數(shù)據(jù)轉(zhuǎn)換工具依托強(qiáng)大的技術(shù)有事和良好的應(yīng)用環(huán)境，在一定范圍和應(yīng)用條件下具有比較強(qiáng)大的功能。但是目前現(xiàn)在主流的數(shù)據(jù)庫(kù)產(chǎn)品太多，不同的產(chǎn)品對(duì)其他產(chǎn)品的兼容性都不是很好。管理軟件的復(fù)雜程度往往很難讓普通用戶(hù)可以自行進(jìn)行數(shù)據(jù)導(dǎo)入。而且異構(gòu)數(shù)據(jù)源的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)導(dǎo)入的效率都不是十分理想，特別對(duì)大批量數(shù)據(jù)，往往對(duì)會(huì)服務(wù)器造成很大的壓力。

現(xiàn)有的技術(shù)存在如下的弊端：數(shù)據(jù)導(dǎo)入的檢驗(yàn)性差，往往對(duì)數(shù)據(jù)的類(lèi)型、格式的驗(yàn)證都比較薄弱。大批量數(shù)據(jù)導(dǎo)入的速度慢，導(dǎo)致數(shù)據(jù)在傳輸過(guò)程中容易出錯(cuò)。數(shù)據(jù)轉(zhuǎn)換的性能和出錯(cuò)率高。而且不同的數(shù)據(jù)源所需要的環(huán)境都不同，服務(wù)器的環(huán)境配置比較復(fù)雜。

本發(fā)明要解決的問(wèn)題是提供一種多線程技術(shù)的EXCEL數(shù)據(jù)導(dǎo)入。本方法采用了多線程技術(shù)更好地利用系統(tǒng)資源。其主要優(yōu)勢(shì)在于充分利用了CPU的空閑時(shí)間片，可以用盡可能少的時(shí)間來(lái)對(duì)用戶(hù)的要求做出響應(yīng)，使得進(jìn)程的整體運(yùn)行效率得到較大提高，同時(shí)增強(qiáng)了應(yīng)用程序的靈活性。更為重要的是，由于同一進(jìn)程的所有線程是共享同一內(nèi)存，所以不需要特殊的數(shù)據(jù)傳送機(jī)制，不需要建立共享存儲(chǔ)區(qū)或共享文件，從而使得不同任務(wù)之間的協(xié)調(diào)操作與運(yùn)行、數(shù)據(jù)的交互、資源的分配等問(wèn)題更加易于解決。很顯然，本發(fā)明更能方便、有效、安全的滿(mǎn)足客戶(hù)的需要。

發(fā)明內(nèi)容

本發(fā)明的目的在于：針對(duì)以上現(xiàn)有技術(shù)存在的不足，實(shí)現(xiàn)一種基于多線程技術(shù)的EXCEL數(shù)據(jù)導(dǎo)入，以克服現(xiàn)有技術(shù)的數(shù)據(jù)轉(zhuǎn)換差、導(dǎo)入效率低、浪費(fèi)性能等問(wèn)題。為了達(dá)到以上目的，本發(fā)明包含如下模塊：

創(chuàng)建模塊——選擇需要導(dǎo)入的EXCEL，創(chuàng)建UI界面。

驗(yàn)證模塊——對(duì)EXCEL的數(shù)據(jù)類(lèi)型進(jìn)行驗(yàn)證，并給出驗(yàn)證數(shù)據(jù)，給下個(gè)模塊使用。

轉(zhuǎn)換模塊——對(duì)錯(cuò)誤的數(shù)據(jù)類(lèi)型進(jìn)行轉(zhuǎn)換，并顯示在UI界面上，用戶(hù)可以手動(dòng)進(jìn)行轉(zhuǎn)換。

創(chuàng)建線程模塊——按照導(dǎo)入數(shù)據(jù)的大小根據(jù)指定的算法創(chuàng)建線程個(gè)數(shù)。

并行導(dǎo)入模塊——線程同時(shí)進(jìn)行導(dǎo)入，導(dǎo)入后生成報(bào)告。

為實(shí)現(xiàn)本發(fā)明的功能，上述功能模塊還包括如下子模塊：

驗(yàn)證模塊——驗(yàn)證數(shù)據(jù)格式子模塊

——驗(yàn)證數(shù)據(jù)格式的正確性。并把驗(yàn)證錯(cuò)誤的消息發(fā)送到轉(zhuǎn)換模塊，便于數(shù)據(jù)的轉(zhuǎn)換。

創(chuàng)建線程模塊——計(jì)算子模塊

——按照數(shù)據(jù)的大小、數(shù)據(jù)的行數(shù)進(jìn)行線程數(shù)的計(jì)算，以便創(chuàng)建最高效率的線程數(shù)。

并行導(dǎo)入模塊——銷(xiāo)毀子模塊、生成日志子模塊

——數(shù)據(jù)導(dǎo)入完，線程自動(dòng)銷(xiāo)毀。并且釋放資源。

——將導(dǎo)入后的結(jié)果生成到日志，便于系統(tǒng)的跟蹤和回滾。

使用步驟為：

步驟一：創(chuàng)建組件。系統(tǒng)檢測(cè)本組件需要的環(huán)境，并自動(dòng)配置服務(wù)器中的環(huán)境。

步驟二：用戶(hù)選擇需要導(dǎo)入的EXCEL文檔。

步驟三：導(dǎo)入后的文檔以UI的方式顯示給用戶(hù)。并提示出驗(yàn)證數(shù)據(jù)的結(jié)果，和轉(zhuǎn)換后數(shù)據(jù)格式的建議。用戶(hù)也可以手動(dòng)的修改數(shù)據(jù)和數(shù)據(jù)格式。只要數(shù)據(jù)和數(shù)據(jù)格式修改系統(tǒng)會(huì)自動(dòng)驗(yàn)證。防止用戶(hù)誤操作后對(duì)數(shù)據(jù)導(dǎo)入的影響。

步驟四：按照數(shù)據(jù)的大小，數(shù)據(jù)的行數(shù)創(chuàng)建線程。各線程以并行的方式進(jìn)行操作。

步驟五：數(shù)據(jù)導(dǎo)入到系統(tǒng)。線程自動(dòng)銷(xiāo)毀，釋放資源。并生成日志文件。

如此，通過(guò)本發(fā)明，節(jié)省了導(dǎo)入數(shù)據(jù)的時(shí)間。保證了數(shù)據(jù)的正確性。便于數(shù)據(jù)間的交互。

具體實(shí)施方式

實(shí)施例一