[發明專利]一種基于容器的大規模異構數據管理方法

在審

• 申請號: 201811423614.5
• 申請日: 2018-11-27
• 公開（公告）號: CN109542970A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 何振遠;肖立成;尹剛;鐘金;鄭瑛
• 申請（專利權）人: 長沙智擎信息技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F9/455
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 董惠文

本發明針對現有大規模異構數據中心管理方法存在數據管理混亂、數據不具有隔離性、安全性低等問題，提供一種基于容器的大規模異構數據管理方法，流程如下：1、數據中心管理平臺下發數據采集需求給數據端；2、數據端根據數據采集需求，將數據中心需要的數據從數據源進行采集，并存儲到移動介質；3、數據中心安裝部署數據管理所需環境；4、數據中心管理平臺將采集的數據上傳到數據中心的分布式存儲集群；5、用戶通過數據中心管理平臺啟動Docker容器，掛載數據文件，返回連接參數；6、用戶使用數據中心管理平臺統一管理數據中心的數據。本發明可有效緩解數據采集、存儲、分析等困難，顯著提高數據管理中心的效率以及數據的可靠性。

技術領域

本發明屬于數據中心大規模異構數據管理領域，具體涉及一種基于容器的大規模異構數據管理方法，主要針對大規模異構數據管理，提供一個大規模異構數據中心實現方案，包括數據的采集、遷移、存儲、復現等。

背景技術

隨著信息技術的飛速發展，應用所使用的存儲數據庫根據需要各不相同，所產生的數據量也在飛速增長，而許多的應用數據需要在數據中心備份，如各大政府部門、公司數據需要再備份到審計部門的數據中心以供審查等。然而由于各個部門使用的數據庫不同且數據量大等特點，傳統的數據中心不能提供一個高效、可靠的數據采集、遷移、重現策略，很大程度上影響了數據審計活動的效率。

目前大部分應用使用數據庫存儲數據，數據庫的遷移和備份是非常耗時的過程，而傳統的數據中心都是將被采集數據端的數據通過數據庫中間文件導入到數據中心的數據庫中，如需要采集oracle數據庫的數據，則將被采集數據導出成oracle數據庫的中間文件格式即dmp文件，然后將dmp文件遷移到數據中心，再根據一定規則將dmp文件導入到數據中心的匯總數據庫中。數據導出成dmp文件和dmp文件的導入需要大量的時間消耗，并且數據中心將所有的數據導入到一個數據庫中，數據之間的隔離性弱，數據遷移、備份困難，也不利于海量數據的管理。

同時，由于不同行業、公司使用的數據庫類軟件不同，不同數據庫的數據需要導入到不同的數據庫中，則需要在數據中心安裝所有的數據庫軟件。數據中心單個機器運算性能、存儲性能不能滿足海量異構數據的存儲需求，需要多個機器構成分布式集群。目前主流數據庫的分布式實現困難，造成數據中心難以整合所有的機器資源，造成資源浪費。

上述方法不僅在數據采集、遷移、導入等步驟需要大量的時間消耗，并且每個步驟需要專業的數據庫人才投入大量的時間。同時，數據的管理也面臨很大困難、資源浪費嚴重。因此，上述方法難以大規模普及，對于目前數據中心海量的大規模異構數據管理已經完全不能滿足需求。

根據調查顯示，目前大部分主流數據庫，數據遷移不但支持導出如dmp文件的靜態文件然后導入到新數據庫，而且支持數據文件的遷移，可以將源數據庫的所有數據文件包括控制文件、日志信息、數據文件等都遷移到新數據庫的對應位置，即可完整復現原始數據庫。容器技術(Container)的出現為這種大規模異構數據中心構建和管理提供了一種新的技術方案。同時，目前在分布式系統上的容器編排技術Kubernetes已經非常成熟，得到大規模商用，具有很好的穩定性，可以很好的屏蔽不同硬件機器的差異，將不同機器組成一個大規模集群，并對于主流的分布式存儲系統有良好的適用性，可以顯著提供資源的利用率以及數據中心的效率。

發明內容

本發明的目的在于針對現有大規模異構數據中心進行數據管理時將各種數據端數據導入到數據中心一個庫，導致數據管理混亂、數據不具有隔離性、安全性低等問題，提出了一種基于容器的大規模異構數據管理方法，有效緩解了數據采集、存儲、分析等困難，顯著提高數據管理中心的效率以及數據的可靠性。

本發明的技術方案包括以下步驟：

步驟1、數據中心管理平臺下發數據采集需求給數據端；

步驟2、數據端根據數據采集需求，將數據中心需要的數據從數據源進行采集，并存儲到移動介質；