[發明專利]一種大數據的數據接入統一管理平臺

在審

• 申請號: 202110085764.5
• 申請日: 2021-01-22
• 公開（公告）號: CN112818045A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 丁武;胡泉;李林;陳學志;于洋
• 申請（專利權）人: 遼寧長江智能科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/50;G06F16/18;G06F16/2458
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請提供了一種大數據的數據接入統一管理平臺，其特征在于：包括高可用+負載均衡模塊、分布式協同模塊、數據采集集群模塊、數據計算集群模塊、WEB統一管理調度平臺。通過設置統一的接入管理平臺，可以針對具有不同輸入、輸出方式的處理功能及對應數據進行統一管理，不再需要各數據采集環節分別編寫獨立程序或腳本，有效降低開發、維護難度，也顯著提高了平臺的性能及穩定性。

技術領域

本申請涉及大數據技術領域，具體而言，涉及一種大數據的數據接入統一管理平臺。

背景技術

隨著大數據技術與應用的逐漸普及，越來越多的公司在面對日益增多的業務和數據增長時選擇擁抱大數據。但是隨著公司的發展，業務不斷擴展，數據呈現爆炸式增長態勢，數據采集工作作為大數據工作的基礎，變得尤為重要，同時也面臨著更多問題與挑戰。

雖然文件存儲和計算已采用分布式集群方案，但是數據采集環節多為編寫獨立程序或腳本，甚至BS架構的采集工具。由此便產生了一系列的問題，如單點故障，性能、穩定性一般，計算資源分配、利用不合理，難于統一維護管理等一系列問題。例如：

1)數據輸入輸出多為本地磁盤或RDBMS，方式相對單一。隨著業務變得越來越復雜，需要不斷的開發適配不同輸入、輸出方式的處理功能，開發、維護難度不斷增加。

2)現有架構下，各組件之間相對獨立，結構松散。每個組件需要各自維護，且組件間關聯、依賴關系維護困難，復雜業務場景下更是很難維護且容易誤操作。

3)數據采集過程中，缺少必要的稽核統計。缺乏對數據資產的管理，且數據出現問題時不易發現和排查。

4)容錯能力差。當發生網絡波動、中斷或者其它情況導致數據采集異常，數據容易發生缺失或者產生臟數據，數據質量下降。

發明內容

針對上述技術問題，本申請提供了一種大數據的數據接入統一管理平臺。

一種大數據的數據接入統一管理平臺，包括高可用+負載均衡模塊、分布式協同模塊、數據采集集群模塊、數據計算集群模塊、WEB統一管理調度平臺；

其中，所述高可用+負載均衡模塊連接所述數據采集集群模塊，所述數據采集集群模塊連接所述數據計算集群模塊，所述分布式協同模塊輸出端連接所述數據采集集群模塊及所述數據計算集群模塊，所述WEB統一管理調度平臺連接所述高可用+負載均衡模塊、所述數據采集集群模塊及所述數據計算集群模塊。

可選地，所述高可用+負載均衡模塊為兩層結構的負載均衡架構，即第一層的LVS處理模塊和第二層的Nginx負載均衡模塊，中間通過Redirect聯通兩層架構。

可選地，所述分布式協同模塊，用于所述數據采集集群模塊和所述數據計算集群模塊的協同。

可選地，所述分布式協同模塊基于Zookeeper組件實現所述協同。

可選地，所述數據采集集群模塊包括若干流式數據采集器A和若干批處理數據采集器B。

可選地，所述數據采集集群模塊，用于根據配置和業務需求，啟動一個或多個采集服務，并根據所述分布式協同模塊中的配置和注冊的計算服務進行數據分發；發送日志數據到消息隊列；接受消息隊列中的補傳消息，生成補傳任務，作為批處理任務，對數據進行補傳。

可選地，所述數據計算集群模塊，用于根據配置和業務需求，啟動相應的計算服務，并將信息注冊到所述分布式協同模塊，接受采集集群發送的數據，經過計算后，根據配置發送到數據倉庫或其他組件；發送日志數據到消息隊列。

可選地，所述平臺還包括容錯識別模塊，所述容錯識別模塊用于從消息隊列調取日志數據進行分析、統計。