[發明專利]數據分流系統

在審

• 申請號: 202010766890.2
• 申請日: 2020-08-03
• 公開（公告）號: CN111935266A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 鄧金祥;周恩亞;侯俊龍;馮園園;孫超;馮凱斌;謝宗明
• 申請（專利權）人: 成都深思科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 許馳

本發明公開了一種數據分流系統，包括數據發送端和一個或多個數據接收端。用于自動獲取數據的數據發送端將數據壓縮后分別發送到指定的一個或多個數據接收端，數據接收端解壓存放該數據；數據發送端設置分配單元，分配單元為不同類型或節點的數據對應分配不同的數據接收端，數據發送端根據分配單元的分配將不同類型或節點的數據對應發送到不同的數據接收端。數據發送端用于從一個或多個目錄中自動獲取數據，然后根據分配，將數據發送到本機的其他目錄或者其他主機的數據接收端。同時在整個過程中，會實時的統計經過此發送端程序的所有文件，并且按照節點編號和數據類型進行分類統計，可實現對節點實時流量的監控。

技術領域

本發明涉及網絡數據傳輸技術領域，尤其涉及一種數據分流系統。

背景技術

網絡數據還原和分析是一些企業和政府部門進行網絡異常檢查，檢測網絡攻擊，分析用戶行為的常見手段。整個過程需要把還原后的數據文件導入到大數據平臺進行挖掘分析。在整個環節中，還原的數據有多種類型，檢測的網絡節點也有多個，如何把不同節點獲取的數據進行傳輸，同時把一個來源的數據一分為二甚至一分為多，是大數據檢測平臺中需要解決的一個問題。

發明內容

本發明的目的就在于為了解決上述問題而提供一種數據分流系統。

為了實現上述目的，本發明提供一種數據分流系統，包括數據發送端和多個數據接收端。用于獲取數據的數據發送端將數據壓縮后分別發送到指定的一個或多個數據接收端，數據接收端解壓存放該數據；

數據發送端設置分配單元，分配單元可以為不同類型或節點的數據對應分配不同的數據接收端，數據發送端根據分配單元的分配將不同類型或節點的數據對應發送到不同的數據接收端。

可選地，數據發送端設置統計單元，統計單元統計數據發送端往數據接收端發送的數據文件，并按數據的節點、類型進行結果記錄。

可選地，數據發送端設置配置單元，配置單元為特定節點或特定類型的數據文件配置優先級傳輸。

可選地，數據接收端為以下任意一種或多種：標準數據接收端程序、標準分布式數據池數據接收程序、SFTP服務端。

可選地，數據接收端的支持存儲磁盤設置閾值，存儲磁盤的存儲率達到設定閾值時，該數據接收端停止接收數據文件。

本發明的有益效果在于：

本發明涉及的數據分流系統，提供了一個穩定且可靠的方式對數據進行傳輸及分流，同時對數據進行統計及流量控制，能極大的提升大數據平臺的數據穩定性。

本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

附圖是用來提供對本發明的進一步理解，并且構成說明書的一部分，與下面的具體實施方式一起用于解釋本發明，但并不構成對本發明的限制。在附圖中：

圖1是本發明所述的數據分流系統的框架圖。

具體實施方式

以下結合附圖對本發明的具體實施方式進行詳細說明。應當理解的是，此處所描述的具體實施方式僅用于說明和解釋本發明，并不用于限制本發明。

如圖1所示，本發明涉及的數據分流系統，包括數據發送端和多個數據接收端，用于獲取數據的數據發送端將數據壓縮后分別發送到指定的多個數據接收端，數據接收端解壓存放該數據。如發送端發送的是未壓縮的文件，接收端可以直接進行接收，若發送端發送的是壓縮文件，接收端可自動識別并解壓存放。

數據發送端能夠自動獲取數據文件，把文件分流到不同的數據接收端，且可確保不同數據接收端接收的文件一致。同時數據發送端也支持對指定的文件進行發送。