[發(fā)明專利]一種大數(shù)據(jù)的數(shù)據(jù)接入統(tǒng)一管理平臺

在審

• 申請?zhí)枺?/td>: 202110085764.5
• 申請日: 2021-01-22
• 公開（公告）號: CN112818045A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設計）人: 丁武;胡泉;李林;陳學志;于洋
• 申請（專利權）人: 遼寧長江智能科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/50;G06F16/18;G06F16/2458
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種大數(shù)據(jù)的數(shù)據(jù)接入統(tǒng)一管理平臺，其特征在于：包括高可用+負載均衡模塊、分布式協(xié)同模塊、數(shù)據(jù)采集集群模塊、數(shù)據(jù)計算集群模塊、WEB統(tǒng)一管理調(diào)度平臺；

其中，所述高可用+負載均衡模塊連接所述數(shù)據(jù)采集集群模塊，所述數(shù)據(jù)采集集群模塊連接所述數(shù)據(jù)計算集群模塊，所述分布式協(xié)同模塊輸出端連接所述數(shù)據(jù)采集集群模塊及所述數(shù)據(jù)計算集群模塊，所述WEB統(tǒng)一管理調(diào)度平臺連接所述高可用+負載均衡模塊、所述數(shù)據(jù)采集集群模塊及所述數(shù)據(jù)計算集群模塊。

2.根據(jù)權利要求1所述的平臺，其特征在于：所述高可用+負載均衡模塊為兩層結(jié)構的負載均衡架構，即第一層的LVS處理模塊和第二層的Nginx負載均衡模塊，中間通過Redirect聯(lián)通兩層架構。

3.根據(jù)權利要求1所述的平臺，其特征在于：所述分布式協(xié)同模塊，用于所述數(shù)據(jù)采集集群模塊和所述數(shù)據(jù)計算集群模塊的協(xié)同。

4.根據(jù)權利要求1所述的平臺，其特征在于：所述分布式協(xié)同模塊基于Zookeeper組件實現(xiàn)所述協(xié)同。

5.根據(jù)權利要求1所述的平臺，其特征在于：所述數(shù)據(jù)采集集群模塊包括若干流式數(shù)據(jù)采集器A和若干批處理數(shù)據(jù)采集器B。

6.根據(jù)權利要求5所述的平臺，其特征在于：所述數(shù)據(jù)采集集群模塊，用于根據(jù)配置和業(yè)務需求，啟動一個或多個采集服務，并根據(jù)所述分布式協(xié)同模塊中的配置和注冊的計算服務進行數(shù)據(jù)分發(fā)；發(fā)送日志數(shù)據(jù)到消息隊列；接受消息隊列中的補傳消息，生成補傳任務，作為批處理任務，對數(shù)據(jù)進行補傳。

7.根據(jù)權利要求5所述的平臺，其特征在于：所述數(shù)據(jù)計算集群模塊，用于根據(jù)配置和業(yè)務需求，啟動相應的計算服務，并將信息注冊到所述分布式協(xié)同模塊，接受采集集群發(fā)送的數(shù)據(jù)，經(jīng)過計算后，根據(jù)配置發(fā)送到數(shù)據(jù)倉庫或其他組件；發(fā)送日志數(shù)據(jù)到消息隊列。

8.根據(jù)權利要求6或7所述的平臺，其特征在于：所述平臺還包括容錯識別模塊，所述容錯識別模塊用于從消息隊列調(diào)取日志數(shù)據(jù)進行分析、統(tǒng)計。

9.根據(jù)權利要求1所述的平臺，其特征在于：所述平臺還包括執(zhí)行單元和服務接口；所述執(zhí)行器用于控制服務的啟停、配置的下發(fā)以及集群監(jiān)控；所述服務接口，用于為前端設備提供接口，以及通過與所述執(zhí)行單元交互來執(zhí)行用戶操作。

10.根據(jù)權利要求1所述的平臺，其特征在于：所述WEB統(tǒng)一管理調(diào)度平臺，用于為用戶提供統(tǒng)一管理調(diào)度平臺，以實現(xiàn)對整個服務的維護。