[發(fā)明專利]一種大數(shù)據(jù)的數(shù)據(jù)接入統(tǒng)一管理平臺(tái)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110085764.5
• 申請(qǐng)日: 2021-01-22
• 公開（公告）號(hào): CN112818045A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 丁武;胡泉;李林;陳學(xué)志;于洋
• 申請(qǐng)（專利權(quán)）人: 遼寧長(zhǎng)江智能科技股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F9/50;G06F16/18;G06F16/2458
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種大數(shù)據(jù)的數(shù)據(jù)接入統(tǒng)一管理平臺(tái)，其特征在于：包括高可用+負(fù)載均衡模塊、分布式協(xié)同模塊、數(shù)據(jù)采集集群模塊、數(shù)據(jù)計(jì)算集群模塊、WEB統(tǒng)一管理調(diào)度平臺(tái)；

其中，所述高可用+負(fù)載均衡模塊連接所述數(shù)據(jù)采集集群模塊，所述數(shù)據(jù)采集集群模塊連接所述數(shù)據(jù)計(jì)算集群模塊，所述分布式協(xié)同模塊輸出端連接所述數(shù)據(jù)采集集群模塊及所述數(shù)據(jù)計(jì)算集群模塊，所述WEB統(tǒng)一管理調(diào)度平臺(tái)連接所述高可用+負(fù)載均衡模塊、所述數(shù)據(jù)采集集群模塊及所述數(shù)據(jù)計(jì)算集群模塊。

2.根據(jù)權(quán)利要求1所述的平臺(tái)，其特征在于：所述高可用+負(fù)載均衡模塊為兩層結(jié)構(gòu)的負(fù)載均衡架構(gòu)，即第一層的LVS處理模塊和第二層的Nginx負(fù)載均衡模塊，中間通過Redirect聯(lián)通兩層架構(gòu)。

3.根據(jù)權(quán)利要求1所述的平臺(tái)，其特征在于：所述分布式協(xié)同模塊，用于所述數(shù)據(jù)采集集群模塊和所述數(shù)據(jù)計(jì)算集群模塊的協(xié)同。

4.根據(jù)權(quán)利要求1所述的平臺(tái)，其特征在于：所述分布式協(xié)同模塊基于Zookeeper組件實(shí)現(xiàn)所述協(xié)同。

5.根據(jù)權(quán)利要求1所述的平臺(tái)，其特征在于：所述數(shù)據(jù)采集集群模塊包括若干流式數(shù)據(jù)采集器A和若干批處理數(shù)據(jù)采集器B。

6.根據(jù)權(quán)利要求5所述的平臺(tái)，其特征在于：所述數(shù)據(jù)采集集群模塊，用于根據(jù)配置和業(yè)務(wù)需求，啟動(dòng)一個(gè)或多個(gè)采集服務(wù)，并根據(jù)所述分布式協(xié)同模塊中的配置和注冊(cè)的計(jì)算服務(wù)進(jìn)行數(shù)據(jù)分發(fā)；發(fā)送日志數(shù)據(jù)到消息隊(duì)列；接受消息隊(duì)列中的補(bǔ)傳消息，生成補(bǔ)傳任務(wù)，作為批處理任務(wù)，對(duì)數(shù)據(jù)進(jìn)行補(bǔ)傳。

7.根據(jù)權(quán)利要求5所述的平臺(tái)，其特征在于：所述數(shù)據(jù)計(jì)算集群模塊，用于根據(jù)配置和業(yè)務(wù)需求，啟動(dòng)相應(yīng)的計(jì)算服務(wù)，并將信息注冊(cè)到所述分布式協(xié)同模塊，接受采集集群發(fā)送的數(shù)據(jù)，經(jīng)過計(jì)算后，根據(jù)配置發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)或其他組件；發(fā)送日志數(shù)據(jù)到消息隊(duì)列。

8.根據(jù)權(quán)利要求6或7所述的平臺(tái)，其特征在于：所述平臺(tái)還包括容錯(cuò)識(shí)別模塊，所述容錯(cuò)識(shí)別模塊用于從消息隊(duì)列調(diào)取日志數(shù)據(jù)進(jìn)行分析、統(tǒng)計(jì)。

9.根據(jù)權(quán)利要求1所述的平臺(tái)，其特征在于：所述平臺(tái)還包括執(zhí)行單元和服務(wù)接口；所述執(zhí)行器用于控制服務(wù)的啟停、配置的下發(fā)以及集群監(jiān)控；所述服務(wù)接口，用于為前端設(shè)備提供接口，以及通過與所述執(zhí)行單元交互來執(zhí)行用戶操作。

10.根據(jù)權(quán)利要求1所述的平臺(tái)，其特征在于：所述WEB統(tǒng)一管理調(diào)度平臺(tái)，用于為用戶提供統(tǒng)一管理調(diào)度平臺(tái)，以實(shí)現(xiàn)對(duì)整個(gè)服務(wù)的維護(hù)。