[發明專利]一種數據庫集群數據高速導入方法

有效

• 申請號: 201210200158.4
• 申請日: 2012-06-18
• 公開（公告）號: CN102750368A
• 公開（公告）日: 2012-10-24
• 發明（設計）人: 李曉鵬;馮柯;蔣志勇;李陽;劉榮;蔣旭;王洋洋;趙雪靜;王效忠;關剛;饒路
• 申請（專利權）人: 天津神舟通用數據技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

技術領域

本發明屬于數據庫技術領域，特別涉及一種數據庫集群數據高速導入方法。

背景技術

隨著信息時代的來臨，數據出現爆炸式增長。面對海量數據，企業對數據庫系統的處理能力和計算強度要求越來越高，因此，數據庫集群開始逐步替代單一服務器模式的數據庫，成為企業應對海量數據的首選。數據庫集群通過高速網絡將多個數據庫服務器聯合起來組成集群，可以實現綜合性能優于單個大型服務器。數據的海量不單單指數據規模大，還體現在數據增長快。因此，企業要求數據庫集群在具備高效的數據計算處理能力同時，還需要具備高速的數據導入能力。另外，企業在首次部署數據庫集群后，需要快速將海量的歷史數據入庫，以便盡快提供服務。如何能夠高速地完成數據導入成為各個數據庫集群關注的問題。目前，各大主流數據庫集群產品都是依靠系統自身來完成數據的導入，如圖1所示。

數據庫集群內部包含一個（或多個）控制節點，負責驅動各個數據庫節點，協調整個系統的工作。控制節點包括數據導入、并行計算、負載均衡與安全管理等功能，其中數據導入功能模塊負責對數據導入存儲，如圖2所示，數據導入功能模塊主要包括以下兩方面功能：1、按照設定的分片策略（哈希、范圍、循環方式）計算數據的存儲位置；2、通過導入接口將數據發往數據庫節點，完成數據的存儲。這種將數據導入、數據計算等操作統一集成于控制節點內的實現方式存在兩個主要的問題：

1、資源爭用導致控制節點成為瓶頸

數據導入過程中的分片計算需要對每一條記錄進行處理，占用大量的CPU計算。將數據發往數據庫節點時需要進行數據緩存，占用大量的內存資源；同時也會占用控制節點同數據庫節點之間的網絡資源。因此，在進行數據的高速、持續導入時，勢必會因大量的CPU、內存、網絡資源開銷，致使控制節點成為瓶頸，從而影響數據庫集群的整體性能。

2、服務器性能限制數據導入效率

數據庫集群的服務器性能決定了其數據導入效率，當數據庫集群出現高負載時，會造成數據導入的阻塞、延遲，數據的延遲導入進而會影響對新數據處理計算的實時性。該影響會隨著數據導入量的增加而愈加明顯。

采用多控制節點的數據庫集群可以將數據導入分派到多個控制節點并行處理，但這種分派的方式只能在一定程度上減輕數據導入過程中的資源爭用，但無法從根本上解決數據的高速導入的性能問題。

綜上所述，由控制節點統一完成所有操作的方式無法在數據的高速導入與處理計算間達到平衡。

發明內容

本發明的目的在于克服現有技術的不足，提供一種可實現數據的高速導入且可最大限度減輕控制節點負擔的數據庫集群數據高速導入方法。

本發明解決其技術問題是采取以下技術方案實現的：

一種數據庫集群數據高速導入方法，采用將數據導入模塊從數據庫集群中的控制節點中分離出來構成獨立的數據導入驅動組件，在數據庫集群中的控制節點中增加交互控制模塊，并且通過以下步驟實現：

步驟1：數據導入驅動組件與數據庫集群的交互模塊建立連接并獲取各個數據庫節點連接信息；

步驟2：數據導入驅動組件通過步驟1建立的數據庫集群連接獲取目標表的模式信息及分片存儲信息并與相關數據庫節點建立連接；

步驟3：數據導入驅動組件向相關數據庫節點進行數據導入，交互控制模塊接收數據導入結果，并更新目標表的相關統計信息。

而且，所述步驟1包括以下處理過程：數據導入驅動組件向交互控制模塊發送建立連接請求，交互控制模塊響應數據導入驅動組件連接請求，并向數據導入驅動組件發送數據庫節點連接信息，數據導入驅動組件獲取集群的各個數據庫節點連接信息。

而且，所述步驟2包括以下處理過程：數據導入驅動組件與數據庫集群進行時間同步，數據導入驅動組件向交互控制模塊詢問目標表是否可用？交互控制模塊檢查目標表是否可用并回復；數據導入驅動組件向交互控制模塊獲取目標表的模式信息和分片存儲信息，交互控制模塊將目標表的模式信息及分片存儲信息傳送給數據導入驅動組件；數據導入驅動組件與相關數據庫節點建立連接。

而且，所述數據導入驅動組件通過JDBC、ODBC及OLEDB標準方式或定制優化的數據庫訪問方式同相關的數據庫節點建立連接。