[發明專利]一種基于容器集群的大數據平臺架構系統

在審

• 申請號: 201910585529.7
• 申請日: 2019-07-01
• 公開（公告）號: CN110489204A
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 陳統;黃永健;王勇澤
• 申請（專利權）人: 廣東軒轅網絡科技股份有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 44288 廣州市越秀區哲力專利商標事務所(普通合伙)
• 代理人: 馬學慧;陳志鋒<國際申請>=<國際公布>

1.一種基于容器集群的大數據平臺架構系統，其特征在于，包括由下至上依次連接的：物理資源層、操作系統層、mesos資源管理層、框架層和接口層；各層之間通過分布式協調管理器Zookeeper來進行協作與通訊管理；

kubernetes作為框架集成到mesos資源管理層中，通過mesos資源管理層來獲取底層物理資源；所述kubernetes用來管理容器集群中的微服務應用；所述容器集群用于運行Docker應用，所述微服務應用封裝于Docker應用中，外部系統通過接口層來調取本架構系統中的微服務應用。

2.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，還包括日志管理系統ELK，所述日志管理系統ELK用于實現平臺架構系統在生產環境中的日志收集、格式化、過濾、索引、查詢。

3.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述框架層用于運行Hadoop、Spark、Storm、Marathon、Chronos、Docker中的數據處理框架以實現計算資源服務調度。

4.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述接口層包括協議接口、服務接口和二次開發接口；所述協議接口，用于為外部系統提供標準化的協議接口，包括：通信協議接口、訪問協議接口和數據解析接口；所述服務接口，用于為外部系統提供應用服務接口，外部系統能夠通過調用該接口訪問平臺中的數據和應用，包括數據預處理接口、數據查詢接口、數據分析接口和數據挖掘接口；所述二次開發接口用于為第三方平臺和研發人員提供開發接口，包括數據接口、算法接口、數據分析接口和數據挖掘接口。

5.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述框架層包括容器調取框架層，所述容器調度框架層通過不斷比較集群內的狀態信息與實際集群環境是否一致，當發現集群的狀態信息與實際狀態不一致時，與容器集群節點的控制進程進行通信創建容器實例，使狀態信息和實際環境重新一致。

6.如權利要求5所述的一種基于容器集群的大數據平臺架構系統，其特征在于，還包括高可用鍵值存儲系統ETCD，所述高可用鍵值存儲系統ETCD存儲各種集群狀態信息，由多個節點相互通信構成整體對外服務，每個節點均存儲有完整的數據，并通過Raft協議保證每個節點維護的數據是一致的。

7.如權利要求6所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述容器調取框架層還用于給執行如下步驟：虛擬DNS負責在ETCD存儲中查找主機名對應IP，并將IP分配給容器使用；還用于通過網絡擴展組件實現容器的跨主機通訊。

8.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述架構系統在大規模生產部署時，采用Ansible配置管理工具，實現數據處理平臺的一鍵式安裝和刪除。

9.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述Docker應用通過如下步驟構建實現：

通過編寫Dockerfile文件構建Hadoop大數據集群自動化部署相關的Docker鏡像，包括Server端鏡像和Agent端鏡像；利用Server端鏡像啟動一個Server容器，利用Agent端鏡像啟動多個Agent端，由Server端對多個Agent端進行統一管理，同時在Server容器中啟動Web應用；建立一個由Server端、多Agent端和Web端組成的分布式架構，自動化啟動部署Hadoop相關大數據集群的服務。

10.如權利要求1所述的一種基于容器集群的大數據平臺架構系統，其特征在于，所述分布式協調管理器Zookeeper用于保存平臺架構系統的非業務性元數據，并動態的通知對應的訂閱者。