[發明專利]基于Docker容器的大數據集群自動配置方法及裝置

有效

• 申請號: 201810961590.2
• 申請日: 2018-08-22
• 公開（公告）號: CN109104317B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 于宏亮;宋懷明;謝瑩瑩;郭慶;蔣丹東
• 申請（專利權）人: 中科曙光國際信息產業有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;H04L29/12
• 代理公司: 北京蘭亭信通知識產權代理有限公司 11667
• 代理人: 趙永剛

本發明提供一種基于Docker容器的大數據集群自動配置方法及裝置。所述方法包括：在每個Docker容器創建時將自身的主機名和IP地址注冊到外部域名系統DNS中；利用變量注入方式將Docker容器域名寫入每個Docker容器的環境變量；利用Docker容器提供的EntryPoint功能執行模板替換程序；讀取每個Docker容器的環境變量進行大數據組件的配置。本發明能夠為用戶提供一個“免配置”的大數據集群，即分配給用戶的容器里的大數據集群不再需要后續的任何配置即可以使用。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于Docker容器的大數據集群自動配置方法及裝置。

背景技術

傳統大數據實訓系統因其面向的多為大數據初學者，目的在于普及大數據相關的基礎知識，如果為每個用戶分配幾臺物理機會耗費巨大，資源也無法充分地利用，因此主流的大數據實訓系統目前為用戶提供的實訓環境往往是基于多租戶或者虛擬機的方式。多租戶的方式即在一個大數據集群環境下為每個用戶開通單獨的Linux系統賬戶，利用Linux系統自身的多用戶多任務特性滿足不同用戶的同時使用要求。但是這種方式隔離性差，用戶在使用運行大數據集群時很容易產生數據間的干擾，因此這種技術已經漸漸淘汰。虛擬機的方式則是為每個用戶單獨分配幾臺虛擬機，這幾臺虛擬機為該用戶獨享，在隔離性方面比多租戶方式要好，但是宿主機的性能損耗比較大，而且對網絡部署的要求也比較高。

隨著容器技術的發展，在容器環境里搭建大數據集群從而進行教學實訓漸漸成為實訓平臺廠商的主流技術選擇。與虛擬機相比，容器除了同樣具有較好的隔離性外，還具有啟動速度快、資源利用率高、性能開銷小等優點。

目前在容器中運行大數據集群，通常的實現方式是將大數據組件預置到容器鏡像里，大數據組件的配置文件都為初始配置，也就是說運行在不同容器里的大數據組件之間并沒有任何的聯系，并不在同一個大數據集群里。之所以不能在鏡像里就將大數據組件的配置文件配置好是因為容器的創建是動態的，在容器被成功創建并運行之前，IP等信息是不確定的。在全部容器啟動后用戶需要登陸到每一個容器里根據容器集群的具體信息(IP、端口號、主機名等用于大數據組件通信的信息)進行手動配置。當然，也可以通過檢測容器啟動狀態，當發現所有的容器都正常啟動后，再運行一個外部程序，分別到每個容器上進行配置，這樣雖然免去了用戶手動配置的煩惱，但是實現邏輯上比較復雜，需要額外的監控程序和配置程序。

發明內容

為了解決上述技術問題，本發明提供了一種基于Docker容器的大數據集群自動配置方法及裝置，能夠為用戶提供一個“免配置”的大數據集群，即分配給用戶的容器里的大數據集群不再需要后續的任何配置即可以使用。

第一方面，本發明提供一種基于Docker容器的大數據集群自動配置方法，所述方法包括：

在每個Docker容器創建時將自身的主機名和IP地址注冊到外部域名系統DNS中；

利用變量注入方式將Docker容器域名寫入每個Docker容器的環境變量；

利用Docker容器提供的EntryPoint功能執行模板替換程序；

讀取每個Docker容器的環境變量進行大數據組件的配置。

可選地，所述讀取每個Docker容器的環境變量進行大數據組件的配置包括：

利用環境變量與模板文件中變量同名的命名規則進行大數據組件的配置文件更新。

可選地，所述Docker容器域名時利用預設的命名規則進行定義的。

第二方面，本發明提供一種基于Docker容器的大數據集群自動配置裝置，所述裝置包括：

注冊模塊，用于在每個Docker容器創建時將自身的主機名和IP地址注冊到外部域名系統DNS中；