[發明專利]一種基于大數據共享服務的集群管理平臺

在審

• 申請號: 202011110330.8
• 申請日: 2020-10-16
• 公開（公告）號: CN112261108A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 郟光奇
• 申請（專利權）人: 江蘇奧工信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/22;G06F16/176
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于大數據共享服務的集群管理平臺，屬于大數據管理技術領域，包括大數據共享平臺、大數據管理平臺和大數據云交換平臺，所述大數據共享平臺的輸出端與大數據管理平臺的輸入端通過通訊連接，所述大數據管理平臺的輸出端與大數據云交換平臺的輸入端通過通訊連接；本發明中，通過在內設置有高可擴展性的Hadoop存儲體系，采用了Hadoop技術體系作為大數據交換的存儲和計算框架，利用Hadoop的HDFS文件系統、MapReduce的計算系統與HBase的數據庫系統實現了對海量數據的支持，使數據交換能力的提高通過標準硬件的橫向擴展即可實現，且在內設置有流數據的處理模塊，采用先進的流數據技術使數據處理服務可以多點分布式，按數據量進行處理，使用效果好。

技術領域

本發明屬于大數據管理技術領域，尤其涉及一種基于大數據共享服務的集群管理平臺。

背景技術

隨著科技的發展，大數據概念被提出來，大數據是源于IT行業術語，一般是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，在很多行業內，為了獲取用戶的用戶習慣信息，均會通過進行大數據獲取并進行大數據分析來實現，在大數據進行共享服務時，需要進行集群管理。

中國專利公開了(CN201610531522.3)基于可信云計算的信息安全大數據管理系統，包括信息共享服務平臺和信息安全服務平臺，所述信息共享服務平臺包括平臺接口層、平臺管理層和平臺部署層，所述信息安全服務平臺包括數據安全處理層和數據服務層，所述平臺接口層通過對外提供統一的接口，實現用戶進行數據的發布、查詢和獲取；所述平臺管理層用于管理由數據安全處理層處理后的數據，包括依次連接的信息存儲模塊、服務分類管理模塊和服務查詢檢索模塊，該信息共享服務平臺，有效解決了集中式服務管理造成的壓力集中，大量服務難以管理等問題，采用云存儲系統進行加密后數據的存儲，不需要了解具體的存儲設備信息，不需要考慮數據備份和冗余等問題，節約了時間成本和存儲成本，該系統在內并未設置有大數據管理系統，無法對于各種數據信息進行實時管理，只能用于共享，由于大數據的種類繁多，若不進行數據管理，易導致數據的紛雜與錯亂，同時該系統也不具備管理監控系統，無法對于大數據進行監控，用戶無法實時了解平臺的運行情況，需要進行一定改進。

發明內容

本發明的目的在于：為了解決現如今的大數據集群管理平臺在內并未設置有大數據管理系統，無法對于各種數據信息進行實時管理，只能用于共享，由于大數據的種類繁多，若不進行數據管理，易導致數據的紛雜與錯亂，同時也不具備管理監控系統，無法對于大數據進行監控，用戶無法實時了解平臺的運行情況的問題，而提出的一種基于大數據共享服務的集群管理平臺。

為了實現上述目的，本發明采用了如下技術方案：

設計一種基于大數據共享服務的集群管理平臺，包括大數據共享平臺、大數據管理平臺和大數據云交換平臺，所述大數據共享平臺的輸出端與大數據管理平臺的輸入端通過通訊連接，所述大數據管理平臺的輸出端與大數據云交換平臺的輸入端通過通訊連接。

優選的，所述大數據共享平臺包括云消息服務器、大數據儲存交換模塊、流數據處理模塊與數據管理監控模塊，所述云消息服務器的輸出端與大數據儲存交換模塊的輸入端之間電性連接，所述大數據儲存交換模塊的輸出端與流數據處理模塊的輸入端之間電性連接，所述流數據處理模塊的輸出端與數據管理監控模塊的輸入端之間電性連接。

優選的，所述大數據管理平臺包括集群管理模塊、集群部署模塊、任務管理平臺、服務管理模塊、用戶管理模塊與狀態監控模塊，所述大數據管理平臺的輸出端分別與集群管理模塊、集群部署模塊、任務管理平臺、服務管理模塊、用戶管理模塊及狀態監控模塊的輸入端通過網絡連接。