[發明專利]巨量數據一次性快速寫入數據庫的方法

無效

• 申請號: 201010136637.5
• 申請日: 2010-03-31
• 公開（公告）號: CN101799832A
• 公開（公告）日: 2010-08-11
• 發明（設計）人: 王理想
• 申請（專利權）人: 山東高效能服務器和存儲研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據庫系統應用領域，具體涉及一種巨量數據一次性、快速寫入數據庫方法。

背景技術

當前，計算機越來越普及，應用面也越來越廣。隨著信息系統的廣泛應用，由于文件在冗余度、操作方便性等方面的限制，使用數據庫存取數據是一種較為普遍的方式。既然用數據來存到數據，開發人員永遠無法回避的一個問題就是向數據庫寫入數據。由于數據庫管理系統的性能越來越高，使得存取少量數據的速度較快，但是當瞬間寫入巨量數據到數據庫的時候，數據庫管理系統還是需要一定的時間來處理，而這時間有時候是用戶難以忍受的。

為了解決上述問題，我們提出了一次性、快速寫入巨量數據到數據庫方法。

發明內容

本發明的目的是提供一種巨量數據一次性快速寫入數據庫的方法。

本發明的目的是按以下方式實現的，支持方法的系統結構包括：臨時表生成和處理單元，臨時表和目的表處理單元，其中：

臨時表生成和處理單元是核心，根據寫入的數據量，動態生成臨時表，并把數據寫入到生成的臨時表中；

臨時表是暫時存放寫入數據的中間體；

目的表處理單元判斷計算機負載情況，負載較低時，從臨時表中取得數據，寫入到目的表中，具體操作步驟如下：

當巨量數據要寫入數據庫中的目的表時，先通過臨時表生成和處理單元，根據寫入的數據量，先動態生成多個臨時表，并且把表名寫到臨時名稱表中，然后啟動多個線程把數據分組寫到各個臨時表中，由于是寫入多個表，所以能在較短時間內完成，目的表處理單元自動判斷計算機負載情況，系統空閑時，執行寫入目的表操作，先從臨時名稱表中讀取出來臨時表的表名，然后根據表名，循環從每個表中讀取出來所有記錄，寫入到目的表中，至此，完成操作。

臨時表生成和處理單元根據數據量動態生成的，臨時表的個數由寫入數據量決定的，臨時表的表名會單獨存在臨時名稱表中。

目的表處理單元自動判斷計算機負載情況，系統空閑時執行，執行完成后，刪除所有臨時表，清空臨時名稱表。

本發明的優異效果是：解決大量數據一次性寫入數據庫時速度較慢的問題，通過動態生成多個臨時表，達到加快數據寫入速度，進而實現快速寫入。

附圖說明

附圖1為現有技術的寫入大量數據的數據流圖；

附圖2為基于動態臨時表的一次性、快速寫入巨量數據到數據庫的數據流圖。

具體實施方式

參照說明書附圖對本發明的方法作以下詳細地說明。

下面參照附圖2，對本發明的內容以一個具體實例來描述實現這一方法的過程。

正如發明內容中所描述的，本發明的體系結構主要包括：臨時表生成和處理單元，臨時表，目的表處理單元。其中：

臨時表生成和處理單元是該方法的核心，根據寫入的數據量，動態生成臨時表，并把數據寫入到生成的臨時表中。

臨時表是此方法中的一個中間體，暫時存入寫入的數據。

目的表處理單元判斷系統負載情況，系統空閑時，從臨時表中取得數據，寫入到目的表中。

一次性、快速寫入巨量數據到數據庫中的實現方式或操作步驟描述如下：

當巨量數據要寫入數據庫中的目的表時，先通過臨時表生成和處理單元，根據寫入的數據量，先動態生成多個臨時表，并且把表名寫到臨時名稱表中，然后啟動多個線程把數據分組寫到各個臨時表中。由于是寫入多個表，所以能在較短時間內完成。目的表處理單元自動判斷計算機負載情況，系統空閑時，執行寫入目的表操作。先從臨時名稱表中讀取出來臨時表的表名，然后根據表名，循環從每個表中讀取出來所有記錄，寫入到目的表中，至此，完成操作。