[發明專利]MPP數據庫自動部署方法及裝置

有效

• 申請號: 202010623526.0
• 申請日: 2020-06-30
• 公開（公告）號: CN111796838B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 潘添;雷經緯;熊輝;于子燁
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61;G06F16/21
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;任默聞

本申請實施例提供一種MPP數據庫自動部署方法及裝置，方法包括：接收MPP數據庫初始化部署請求，并獲取該MPP數據庫初始化部署請求對應的具備數據存儲功能的目標MPP數據庫；應用預先存儲的MPP數據庫鏡像文件，將目標MPP數據庫自動部署在分布式資源管理系統中的對應容器內，以在對應的容器集群內形成相互之間獨立的多個MPP數據庫節點，各個MPP數據庫節點上均安裝有塊存儲客戶端和用于提供存儲服務的服務單元；將目標MPP數據庫在運行過程中產生的數據存儲在對應磁盤上。本申請能夠實現MPP數據庫在分布式資源管理框架中的自動化部署，并能夠有效提高MPP數據庫部署至分布式資源管理框架中的效率及有效性。

技術領域

本申請涉及數據處理技術領域，具體涉及MPP數據庫自動部署方法及裝置。

背景技術

大數據時代，各行各業每時每刻都產生著大量數據，數據已成為了一種生產資料，促進社會生產力的發展。數據的存儲過程中，MPP數據庫作為支持PB級數據實時分析的大規模并行處理數據庫，有完全的可伸縮性、高可用、高性能、優秀的性價比、資源共享等優勢。MPP數據庫為大量數據的存儲分析提供很好的保證。

傳統的MPP數據庫部署的方式是通過插件或腳本人工操作來安裝數據庫，這樣的缺點是數據庫的運行、配置、管理、所有的生存周期將與當前操作系統綁定，所有安裝部署需要手工操作、驗證，如此一來造成數據庫的可移植性差，安裝十分繁瑣。具體來說，目前在集群上部署MPP數據庫的方式，存在如下問題：首先部署速度慢，每次部署都要進行相應的配置和操作；其次部署后與機器底層的耦合性較強，使其不利于在不同環境之間的遷移。即便應用了諸如Mesos等分布式資源管理框架，也無法直接部署MPP數據庫，因為數據庫屬于具體數據存儲功能的有狀態應用，并不像無狀態應用一樣不用保存數據，因此無法在現有的如Mesos框架等分布式資源管理系統上部署。

發明內容

針對現有技術中的問題，本申請提供一種MPP數據庫自動部署方法及裝置，能夠實現MPP數據庫在分布式資源管理框架中的自動化部署，并能夠有效提高MPP數據庫部署至分布式資源管理框架中的效率及有效性。

為解決上述技術問題，本申請提供以下技術方案：

第一方面，本申請提供一種MPP數據庫自動部署方法，包括：

接收MPP數據庫初始化部署請求，并獲取該MPP數據庫初始化部署請求對應的具備數據存儲功能的目標MPP數據庫；

應用預先存儲的MPP數據庫鏡像文件，將所述目標MPP數據庫自動部署在分布式資源管理系統中的對應容器內，以在對應的容器集群內形成相互之間獨立的多個MPP數據庫節點，其中，各個所述MPP數據庫節點上均預先安裝有塊存儲客戶端和用于提供存儲服務的服務單元；

將所述目標MPP數據庫在運行過程中產生的數據存儲在對應磁盤上，并在需要遷移所述目標MPP數據庫時，將該目標MPP數據庫在運行過程中產生的數據以及其所在系統打包生成對應的鏡像文件，并將該鏡像文件存儲至一預設的私有鏡像倉庫中。

進一步地，還包括：

接收針對所述目標MPP數據庫的MPP數據庫遷移部署請求，并基于該MPP數據庫遷移部署請求獲取該目標MPP數據庫對應在同一所述分布式資源管理系統中的原始容器集群和目標容器集群；

在所述原始容器集群中，將所述目標MPP數據庫對應的容器存儲為目標遷移鏡像文件，并將所述目標遷移鏡像文件存儲至所述私有鏡像倉庫中；

在目標容器集群中，拉取存儲在所述私有鏡像倉庫中的所述目標遷移鏡像文件；

應用所述目標遷移鏡像文件，將所述目標MPP數據庫自動部署在所述目標容器集群內。

進一步地，在所述接收MPP數據庫初始化部署請求之前，還包括：

創建并存儲MPP數據庫鏡像文件；