[發明專利]一種基于工業互聯網的大數據分發平臺

在審

• 申請號: 202110687374.5
• 申請日: 2021-06-21
• 公開（公告）號: CN113486112A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 王清杰;王旸
• 申請（專利權）人: 北京德風新征程科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/9035;G06F16/906
• 代理公司: 東莞市卓易專利代理事務所(普通合伙) 44777
• 代理人: 林霞

本發明涉及計算機技術技術領域，具體為一種基于工業互聯網的大數據分發平臺，包括大數據采集平臺、調度管理平臺以及接收平臺，所述大數據采集平臺包括過濾模塊、分類模塊以及分布式數據管理模塊，所述調度管理平臺包括分發服務模塊以及數據中轉模塊，本發明通過對大數據進行過濾、分類、分布式管理后由中轉模塊進行多路徑轉存、分發，能夠使大數據分發系統運行時自適應優化，提高大數據分發系統的健壯性，使得大數據分發系統能夠穩定運行，為用戶提供持續可靠的服務，本發明通過調度監控管理平臺，按分發大數據的存儲網格結構、線性結構以及樹形結構主動將大數據從分發服務模塊發送至接收平臺，并進行全程智能監控，實現大數據的快速分發。

技術領域

本發明涉及計算機技術技術領域，具體為一種基于工業互聯網的大數據分發平臺。

背景技術

現今的大部分數據中心都是通過分發服務器組來存儲和分發不同的數據，這些數據可能是單純的操作系統也可能是操作系統上再附加各種的軟件以及應用程序，比如鏡像文件，分發服務器組通常包括分發服務器和存儲服務器，以分別實現分發數據和存儲數據。

在相關技術中提供的一種數據分發方法，分發服務器直接把數據從存儲服務器依次傳輸到各個目標終端上，目標終端可以是虛擬機。

由于存儲服務器需要分別向每個目標終端分發數據，從而導致存儲服務器的流量壓力過大，數據分發效率較低。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種多路徑緩、分發流暢的基于工業互聯網的大數據分發平臺。

(二)技術方案

為實現上述目的，本發明提供如下技術方案：一種基于工業互聯網的大數據分發平臺，包括大數據采集平臺、調度管理平臺以及接收平臺，所述大數據采集平臺包括過濾模塊、分類模塊以及分布式數據管理模塊，所述調度管理平臺包括分發服務模塊以及數據中轉模塊，所述接收平臺內還設有解析模塊，所述大數據采集品臺用于接收多個客戶端發送來的數據并保存在自身高速緩存中，并對采集的大數據進行預處理，所述過濾模塊用于對采集的大數據進行過濾，去除重復、無效的大數據，所述分類模塊用于根據數據結構對過濾后的大數據進行分類，所述分布式數據管理模塊用于對分類處理后的大數據進行分布式的管理，所述調度管理平臺用于接收分布式數據管理模塊發送的大數據，并向中轉模塊內轉存大數據，所述中轉模塊用于分類存儲大數據，并進行智能策略分析，得到最優分發路徑，通過分發服務模塊與接收平臺之間建立高速大數據分發通道，并將大數據主動推送至接收平臺，所述解析模塊采用異步抓取的方式從中轉模塊中獲取的大數據，并采用對應的解析方式解析大數據。

為了提高大數據傳輸的安全性，本發明改進有，所述分發服務模塊以及接收平臺內均設有安全運維管理模塊，所述安全運維管理模塊用于對分發服務模塊提供的大數據以及接收平臺接受的大數據進行安全運維管理服務。

為了防止大數據在處理過程中發生堵塞，本發明改進有，所述分布式數據管理模塊通過設置多個數據管理模塊集群組成，每個數據管理模塊集群由多個數據管理單元組成。在任一個數據管理模塊集群中，所有所述數據管理單元通過網絡互通。

為了保證數據傳輸過程中的安全性，本發明改進有，所述安全運維管理模塊包括預警管理、配置管理以及風險管理，還包括設備管理、人員管理以及應用服務管理。

為了優化中轉模塊的轉存效果，本發明改進有，所述中轉模塊包括網格存儲單元、線性存儲單元以及樹形存儲單元，所述網格存儲單元、線性存儲單元以及樹形存儲單元分別對應存儲網格結構、線性結構和樹形結構的大數據。

為了提高向接收平臺傳輸的私密性，本發明改進有，所述接收平臺內還包括協議傳輸模塊，用于在分發服務模塊、中轉模塊以及接收平臺間建立協議傳輸關系。

(三)有益效果