[發明專利]一種基于容器的大規模異構數據管理方法

在審

• 申請號: 201811423614.5
• 申請日: 2018-11-27
• 公開（公告）號: CN109542970A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 何振遠;肖立成;尹剛;鐘金;鄭瑛
• 申請（專利權）人: 長沙智擎信息技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F9/455
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 董惠文

1.一種基于容器的大規模異構數據管理方法，其特征在于，包括以下步驟：

步驟1、數據中心管理平臺下發數據采集需求給數據端；

步驟2、數據端根據數據采集需求，將數據中心需要的數據從數據源進行采集，并存儲到移動介質；

步驟3、數據中心安裝部署數據管理所需環境；

步驟4、數據中心管理平臺將被采集的數據文件從移動存儲介質上傳到數據中心的分布式存儲集群；

步驟5、用戶通過數據中心管理平臺選擇對應的數據，通過Kubernetes啟動一個與選擇數據所使用數據庫對應的Docker容器，并通過Docker容器的文件掛載技術掛載被選擇的數據文件，啟動完成后為用戶返回數據庫相應的連接參數；

步驟6、用戶使用數據中心管理平臺統一管理數據中心的數據。

2.如權利要求1所述的基于容器的大規模異構數據管理方法，其特征在于，所述步驟2中數據端采集數據中心需要的數據，具體執行以下步驟：

步驟2.1、數據端安裝Docker容器，并導入與數據端數據庫符合的Docker鏡像；

步驟2.2、數據端啟動一個與被采集數據所使用數據庫相符合的Docker容器；

步驟2.3、數據端保存被采集數據的信息，如數據庫類型、編碼方式、采集人等，方便數據中心查看數據信息并溯源；

步驟2.4、數據端根據啟動容器的連接參數連接容器數據庫，并運行相應的數據采集腳本將需要上傳到數據中心的數據導入到Docker容器中；

步驟2.5、將容器中數據庫的數據文件拷貝到移動存儲介質，然后轉存到數據中心或者直接通過網絡將數據文件上傳到數據中心，此時數據采集結束。

3.如權利要求1所述的基于容器的大規模異構數據管理方法，其特征在于，所述步驟3中，數據中心安裝部署數據管理所需環境，包括安裝Docker軟件包、Kubernetes軟件包，導入需要的鏡像，并在數據中心搭建高可靠分布式存儲系統用于存儲數據文件。

4.如權利要求1所述的基于容器的大規模異構數據管理方法，其特征在于，所述步驟6中用戶使用數據中心管理平臺統一管理數據中心的數據，具體包括以下內容：包括管理數據存儲、啟動、查看的數據，并根據需要進行數據匯總、數據校驗操作。

5.如權利要求1至4中任意一項所述的基于容器的大規模異構數據管理方法，其特征在于，所述數據中心管理平臺基于Kubernetes實現對Docker數據集群的管理。