[發明專利]一種基于容器集群的大數據平臺架構系統

在審

• 申請號: 201910585529.7
• 申請日: 2019-07-01
• 公開（公告）號: CN110489204A
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 陳統;黃永健;王勇澤
• 申請（專利權）人: 廣東軒轅網絡科技股份有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 44288 廣州市越秀區哲力專利商標事務所(普通合伙)
• 代理人: 馬學慧;陳志鋒<國際申請>=<國際公布>

本發明公開了一種基于容器集群的大數據平臺架構系統，包括由下至上依次連接的：物理資源層、操作系統層、mesos資源管理層、框架層和接口層；各層之間通過分布式協調管理器Zookeeper來進行協作與通訊管理；kubernetes作為框架集成到mesos資源管理層中，通過mesos資源管理層來獲取底層物理資源；所述容器集群用于運行Docker應用，所述微服務應用封裝于Docker應用中，外部系統通過接口層來調取本架構系統中的微服務應用。本發明的基于容器集群的大數據平臺架構系統能夠實現快速部署、秒級停起各類應用，支持多種服務的集群部署、負載均衡、災難恢復和彈性伸縮。

技術領域

本發明涉及一種云計算存儲技術領域，尤其涉及一種基于容器集群的大數據平臺架構系統。

背景技術

目前，大數據時代59％的數據都是無效數據、70％的數據過于復雜、85％的企業數據架構無法適應數據量和復雜性增長的需求、98％的企業無法及時準確地為業務提供正確的信息。如今，大數據挑戰和機遇并存，大數據服務平臺建設正經歷著由簡單到復雜、由單一到多元、由局部到整體的全方位一體化的發展過程。然而支撐大數據服務的云數據中心往往存在以下挑戰：1、難以在短時間內啟動大規模計算資源來應對大量分布式計算節點的需求；2、彈性計算性價比低，每個虛擬機需要消耗大量額外的系統資源，在批處理為主的離線分析中，這些資源更是大部分時間都處于閑置狀態。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種基于容器集群的大數據平臺架構系統，其能解決當前計算資源利用率不高的技術問題。

本發明的目的采用如下技術方案實現：

一種基于容器集群的大數據平臺架構系統，包括由下至上依次連接的：物理資源層、操作系統層、mesos資源管理層、框架層和接口層；各層之間通過分布式協調管理器Zookeeper來進行協作與通訊管理；

kubernetes作為框架集成到mesos資源管理層中，通過mesos資源管理層來獲取底層物理資源；所述kubernetes用來管理容器集群中的微服務應用；所述容器集群用于運行Docker應用，所述微服務應用封裝于Docker應用中，外部系統通過接口層來調取本架構系統中的微服務應用。

進一步地，還包括日志管理系統ELK，所述日志管理系統ELK用于實現平臺架構系統在生產環境中的日志收集、格式化、過濾、索引、查詢。

進一步地，所述框架層用于運行Hadoop、Spark、Storm、Marathon、Chronos、Docker中的數據處理框架以實現計算資源服務調度。

進一步地，所述接口層包括協議接口、服務接口和二次開發接口；所述協議接口，用于為外部系統提供標準化的協議接口，包括：通信協議接口、訪問協議接口和數據解析接口；所述服務接口，用于為外部系統提供應用服務接口，外部系統能夠通過調用該接口訪問平臺中的數據和應用，包括數據預處理接口、數據查詢接口、數據分析接口和數據挖掘接口；所述二次開發接口用于為第三方平臺和研發人員提供開發接口，包括數據接口、算法接口、數據分析接口和數據挖掘接口。

進一步地，所述框架層包括容器調取框架層，所述容器調度框架層通過不斷比較集群內的狀態信息與實際集群環境是否一致，當發現集群的狀態信息與實際狀態不一致時，與容器集群節點的控制進程進行通信創建容器實例，使狀態信息和實際環境重新一致。

進一步地，還包括高可用鍵值存儲系統ETCD，所述高可用鍵值存儲系統ETCD存儲各種集群狀態信息，由多個節點相互通信構成整體對外服務，每個節點均存儲了完整的數據，并通過Raft協議保證每個節點維護的數據是一致的。