[發明專利]一種基于互聯網的大數據平臺

有效

• 申請號: 201710784184.9
• 申請日: 2017-09-04
• 公開（公告）號: CN107612984B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 白云飛
• 申請（專利權）人: 北京天平檢驗行有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/27
• 代理公司: 北京衛平智業專利代理事務所(普通合伙) 11392
• 代理人: 謝建玲;郝亮

1.一種基于互聯網的大數據平臺，其特征在于，包括：數據采集層、數據計算存儲層、服務層、應用層、平臺管理層和數據治理層；

所述數據采集層用于實現批量數據的采集；

所述數據計算存儲層用于對數據采集層采集的數據進行存儲、計算和整合；

所述服務層用于對數據進行封裝、分析、挖掘和共享，為用戶提供基于互聯網的大數據服務；

所述應用層用于為用戶提供應用軟件和搜索網站；

所述平臺管理層為應用層和服務層的開發框架進行統一管理，實現各類數據資源的集中管控和統一調度；

所述數據治理層用于對數據進行管理；

所述數據采集層包括數據采集服務器；

所述數據計算存儲層包括大數據存儲服務器、大數據計算平臺、大數據接收服務器和大數據中央控制服務器；

所述數據采集服務器用于采集互聯網上的數據，對數據進行分類，然后將相同類別的數據發送給大數據接收服務器；

所述大數據接收服務器用于接收數據采集服務器采集的數據，并對接收的數據按照數據類別和接收時間建立接收隊列表，并將接收隊列表發送給大數據存儲服務器進行存儲，將數據類別發送給大數據計算平臺；

所述大數據計算平臺包括若干個大數據計算服務器，大數據計算平臺根據數據類別對各個大數據計算服務器進行分類，大數據計算服務器根據數據類別，接收同類別的數據；

所述大數據中央控制服務器用于采集大數據計算平臺的狀態，并根據采集的狀態建立平臺隊列表；

大數據中央控制服務器循環讀取大數據存儲服務器中的接收隊列表，并根據平臺隊列表中的數據控制數據的傳輸；

所述數據采集服務器包括數據優化模塊，數據優化模塊用于對采集的數據進行優化，將無用的數據剔除；

所述大數據中央控制服務器包括判斷模塊和數據安全控制模塊；

所述判斷模塊用于對數據采集服務器采集的數據進行判斷，若大數據計算平臺中記錄的數據與數據采集服務器采集的數據相同，則將相同的數據刪除；

所述數據安全控制模塊用于保證數據傳輸過程中的安全性；

所述大數據計算平臺的狀態包括各個大數據計算服務器的工作狀態和空閑程度。

2.如權利要求1所述的基于互聯網的大數據平臺，其特征在于，所述服務層基于Web和Open API技術提供大數據服務。

3.如權利要求1所述的基于互聯網的大數據平臺，其特征在于，所述服務層包括業務服務層和支撐服務層。

4.如權利要求3所述的基于互聯網的大數據平臺，其特征在于，所述業務服務層包括大數據建模服務、大數據管理服務、大數據分析服務、大數據挖掘服務和大數據融合服務。

5.如權利要求1所述的基于互聯網的大數據平臺，其特征在于，所述數據治理層包括：元數據管理、數據質量管理、數據安全管理和數據生命周期管理。