[發(fā)明專利]一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)平臺(tái)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710784184.9
• 申請(qǐng)日: 2017-09-04
• 公開（公告）號(hào): CN107612984B
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 白云飛
• 申請(qǐng)（專利權(quán)）人: 北京天平檢驗(yàn)行有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F16/27
• 代理公司: 北京衛(wèi)平智業(yè)專利代理事務(wù)所(普通合伙) 11392
• 代理人: 謝建玲;郝亮

本發(fā)明涉及一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)平臺(tái)，包括：數(shù)據(jù)采集層、數(shù)據(jù)計(jì)算存儲(chǔ)層、服務(wù)層、應(yīng)用層、平臺(tái)管理層和數(shù)據(jù)治理層；所述數(shù)據(jù)采集層包括數(shù)據(jù)采集服務(wù)器；所述數(shù)據(jù)計(jì)算存儲(chǔ)層包括大數(shù)據(jù)存儲(chǔ)服務(wù)器、大數(shù)據(jù)計(jì)算平臺(tái)、大數(shù)據(jù)接收服務(wù)器和大數(shù)據(jù)中央控制服務(wù)器；本發(fā)明的有益效果是：本系統(tǒng)框架完整，功能齊全，涵蓋互聯(lián)網(wǎng)上的大量數(shù)據(jù)資源，提高了大數(shù)據(jù)平臺(tái)的處理能力，且系統(tǒng)能夠穩(wěn)定運(yùn)行，并且也解決了在大數(shù)據(jù)處理中數(shù)據(jù)丟失的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)系統(tǒng)技術(shù)領(lǐng)域，具體說是一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)平臺(tái)。

背景技術(shù)

大數(shù)據(jù)分析平臺(tái)基于分布式海量數(shù)據(jù)存儲(chǔ)與計(jì)算環(huán)境，提供圖形化交互式數(shù)據(jù)處理和分析工具，豐富的數(shù)據(jù)分析與挖掘算法，以及交互式可視化分析工具，通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供服務(wù)。這種系統(tǒng)實(shí)現(xiàn)策略不僅符合大數(shù)據(jù)應(yīng)用的發(fā)展趨勢(shì)，同時(shí)也滿足中小企業(yè)和個(gè)人用戶對(duì)于數(shù)據(jù)分析系統(tǒng)的可用性、時(shí)效性和低成本等方面的要求。大數(shù)據(jù)分析平臺(tái)所采用的技術(shù)路線和應(yīng)用模式融合了智能分析技術(shù)、高可擴(kuò)展計(jì)算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)和軟件即時(shí)服務(wù)(SaaS)應(yīng)用模式，符合當(dāng)前國(guó)際大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)和產(chǎn)業(yè)化應(yīng)用要求。

然而現(xiàn)有的大數(shù)據(jù)平臺(tái)大多功能單一，框架不完善，并且在大數(shù)據(jù)處理中，因數(shù)據(jù)量巨大，造成接收數(shù)據(jù)時(shí)網(wǎng)絡(luò)堵塞，從而存在數(shù)據(jù)丟失的問題，無法實(shí)現(xiàn)真正的大數(shù)據(jù)處理時(shí)代，因此本發(fā)明提供了一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)平臺(tái)，來解決上述問題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)平臺(tái)，解決現(xiàn)有的大數(shù)據(jù)平臺(tái)功能單一，框架不完善，在大數(shù)據(jù)處理中，因數(shù)據(jù)量巨大，達(dá)成接收數(shù)據(jù)時(shí)網(wǎng)絡(luò)堵塞，從而存在數(shù)據(jù)丟失的問題。

為達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是：

一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)平臺(tái)，包括：數(shù)據(jù)采集層、數(shù)據(jù)計(jì)算存儲(chǔ)層、服務(wù)層、應(yīng)用層、平臺(tái)管理層和數(shù)據(jù)治理層；

所述數(shù)據(jù)采集層用于實(shí)現(xiàn)批量數(shù)據(jù)的采集；

所述數(shù)據(jù)計(jì)算存儲(chǔ)層用于對(duì)數(shù)據(jù)采集層采集的數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算和整合；

所述服務(wù)層用于對(duì)數(shù)據(jù)進(jìn)行封裝、分析、挖掘和共享，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)；

所述應(yīng)用層用于為用戶提供應(yīng)用軟件和搜索網(wǎng)站；

所述平臺(tái)管理層為應(yīng)用層和服務(wù)層的開發(fā)框架進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)各類數(shù)據(jù)資源的集中管控和統(tǒng)一調(diào)度；

所述數(shù)據(jù)治理層用于對(duì)數(shù)據(jù)進(jìn)行管理；

所述數(shù)據(jù)采集層包括數(shù)據(jù)采集服務(wù)器；

所述數(shù)據(jù)計(jì)算存儲(chǔ)層包括大數(shù)據(jù)存儲(chǔ)服務(wù)器、大數(shù)據(jù)計(jì)算平臺(tái)、大數(shù)據(jù)接收服務(wù)器和大數(shù)據(jù)中央控制服務(wù)器；

所述數(shù)據(jù)采集服務(wù)器用于采集互聯(lián)網(wǎng)上的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分類，然后將相同類別的數(shù)據(jù)發(fā)送給大數(shù)據(jù)接收服務(wù)器；

所述大數(shù)據(jù)接收服務(wù)器用于接收數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)，并對(duì)接收的數(shù)據(jù)按照數(shù)據(jù)類別和接收時(shí)間建立接收隊(duì)列表，并將接收隊(duì)列表發(fā)送給大數(shù)據(jù)存儲(chǔ)服務(wù)器進(jìn)行存儲(chǔ)，將數(shù)據(jù)類別發(fā)送給大數(shù)據(jù)計(jì)算平臺(tái)；

所述大數(shù)據(jù)計(jì)算平臺(tái)包括若干個(gè)大數(shù)據(jù)計(jì)算服務(wù)器，大數(shù)據(jù)計(jì)算平臺(tái)根據(jù)數(shù)據(jù)類別對(duì)各個(gè)大數(shù)據(jù)計(jì)算服務(wù)器進(jìn)行分類，大數(shù)據(jù)計(jì)算服務(wù)器根據(jù)數(shù)據(jù)類別，接收同類別的數(shù)據(jù)；

所述大數(shù)據(jù)中央控制服務(wù)器用于采集大數(shù)據(jù)計(jì)算平臺(tái)的狀態(tài)，并根據(jù)采集的狀態(tài)建立平臺(tái)隊(duì)列表；

大數(shù)據(jù)中央控制服務(wù)器循環(huán)讀取大數(shù)據(jù)存儲(chǔ)服務(wù)器中的接收隊(duì)列表，并根據(jù)平臺(tái)隊(duì)列表中的數(shù)據(jù)控制數(shù)據(jù)的傳輸。

在上述方案的基礎(chǔ)上，所述數(shù)據(jù)采集服務(wù)器包括數(shù)據(jù)優(yōu)化模塊，數(shù)據(jù)優(yōu)化模塊用于對(duì)采集的數(shù)據(jù)進(jìn)行優(yōu)化，將無用的數(shù)據(jù)剔除。