[發明專利]一種基于生命周期管理的一體化大數據管理平臺

在審

• 申請號: 202010030011.X
• 申請日: 2020-01-10
• 公開（公告）號: CN113127462A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 蘇志堅
• 申請（專利權）人: 聯洋國融（北京）科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2453
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于生命周期管理的一體化大數據管理平臺，其特征在于，包括：

元數據管理子系統，用于對各類數據的元數據進行集中的存儲、管理和維護；

數據接入子系統，用于數據的接入，結合元數據，對數據進行自動分區計算；

數據存儲管理子系統，用于數據的持久化存儲，并在數據落地后，對存儲進行優化；

數據檢索子系統，用于數據的檢索，根據用戶所需查詢的數據特征信息與所述元數據管理子系統交互，查找與數據特征信息一致的數據；

運維管理子系統，用于數據的可視化管理，用于提供管理員所需的數據全貌及任務概況；

消息層，用于消息中間件，用于提供數據傳送的分布式環境；

資源調度，用于各種資源進行合理有效的調節和測量及分析和使用；

安全機制，用于數據的安全，對管理員進行認證和鑒別。

2.根據權利要求1所述的一種基于生命周期管理的一體化大數據管理平臺，其特征在于，所述數據接入子系統包括數據加載子模塊、消息隊列子模塊、數據持久化子模塊和數據存儲子模塊，其中，

數據加載子模塊，負責支持了HTTP、TCP、FTP在內的常用網絡協議，也支持消息層的Kafka、RocketMQ等消息中間件，可啟動Http Server、Tcp Server、Ftp Server等，用于從不同的客戶端接入數據；

消息隊列子模塊，用于數據的高速緩沖和多源匯聚；

數據持久化子模塊，用于從所述消息隊列模塊中指定主題消費數據，支持用戶根據業務規則，將數據分揀入不同的通道中，還用于數據的最終落地；

數據存儲子模塊，用于數據的存儲。

3.根據權利要求2所述的一種基于生命周期管理的一體化大數據管理平臺，其特征在于，所述數據存儲子模塊包括分布式數據倉庫、分布式KV庫和分布式全文庫。

4.根據權利要求3所述的一種基于生命周期管理的一體化大數據管理平臺，其特征在于，所述數據存儲管理子系統包括小文件合并子模塊、生命周期管理子模塊和分級存儲子模塊，其中，

小文件合并子模塊，用于對小文件進行合并任務，使多個小文件合并產生大文件；

生命周期管理子模塊，用于對存儲數據進行過期刪除，支持對分布式數據倉庫Hive和分布式全文庫Elasticsearch進行數據自動刪除；

分級存儲子模塊，負責對數據進行分級存儲。

5.根據權利要求4所述的一種基于生命周期管理的一體化大數據管理平臺，其特征在于，所述運維管理子系統包括部署子模塊、配置子模塊、管理子模塊、監控子模塊、數據全貌子模塊和任務監控子模塊，其中，

部署子模塊，用于服務部署；

配置子模塊，用于服務配置；

管理子模塊，用于對節點、服務進行管理，如在線添加、刪除節點或服務，在線修改服務配置等；

監控子模塊，用于監控集群的健康情況，對設置的各種指標和系統運行情況進行全面監控，可對硬件服務器網絡、內存、磁盤等進行實時監控，對服務的內存使用，活躍狀態進行實時監控；

數據全貌子模塊，用于對數據全貌進行監控；

任務監控子模塊，用于對任務概況進行監控。

6.一種基于生命周期管理的一體化大數據管理方法，其特征在于，用于權利要求5所述的基于生命周期管理的一體化大數據管理平臺，包括以下步驟：

數據接入子系統接受用戶存儲數據；

數據接入子系統對所述存儲數據進行處理，確定所述存儲數據的特征；

數據接入子系統依據所述存儲數據特征落地存儲；

根據預先設置的小文件閾值，數據存儲管理子系統對處于閾值內的存儲數據進行合并；

根據預先設置的存儲數據的存儲時間周期，數據管理子系統對過期的所述存儲數據刪除。

7.根據權利要求6所述的一種基于生命周期管理的一體化大數據管理方法，其特征在于，數據接入子系統對所述存儲數據進行處理，確定所述存儲數據的特征包括：

預先配置元數據的數據模式、分區規則、存儲規則等信息；

結合元數據，數據持久化子模塊對存儲數據進行自動分區計算知曉所述存儲數據的目標分區。