[發明專利]網絡大數據處理平臺

在審

• 申請號: 201510313206.4
• 申請日: 2015-06-10
• 公開（公告）號: CN105007232A
• 公開（公告）日: 2015-10-28
• 發明（設計）人: 程崇煜
• 申請（專利權）人: 柳州市智融科技有限公司
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L12/863;H04L29/08;G06Q10/06
• 代理公司: 北京中恒高博知識產權代理有限公司 11249
• 代理人: 宋敏

技術領域

本發明涉及計算機領域，具體地，涉及一種網絡大數據處理平臺。

背景技術

目前，隨著計算機技術和互聯網的發展，許多政府和企業都在進行大數據的建設，而大數據建設對企業的發展方向，政府的管理水平和服務方式的改進都起到非常重要的作用，但現有的大數據處理中，往往是將數據都集中到一起后，再進行分類，造成后期工作量大，因數據量巨大，造成接收數據時網絡堵塞，從而存在數據丟失的問題。

發明內容

本發明的目的在于，針對上述問題，提出一種網絡大數據處理平臺，以實現防止數據丟失的優點。

為實現上述目的，本發明采用的技術方案是：

一種網絡大數據處理平臺，包括，

數據采集服務器：采集互聯網上的數據，并對數據進行初步分類，并將相同類別的數據壓縮處理后傳輸至發送服務器；

發送服務器：接收數據采集服務器發送的數據后，保存接收的數據并按照數據類別和接收時間建立發送隊列表；

接收服務器，按照數據類別進行分組，并對接收服務器組進行編號，接收服務器組按照數據分類，不同的接收服務器組只接收同類別的數據，并保存接收的數據；

中央控制器：中央控制器采集接收服務器組的狀態，并根據采集的狀態建立接收隊列表，接收隊列表內保存各個接收服務器的工作狀態和繁忙程度；

所述中央控制器以循環的方式偵測發送隊列表，并依據接收隊列表記錄的數據控制數據的傳輸；

數據采集服務器內設置數據篩選模塊，數據篩選模塊對采集的數據進行篩選，將無用的數據篩選出去。

本發明的技術方案具有以下有益效果：

本發明的技術方案，在前期對數據進行分類，并在發送服務器中建立發送隊列表，中央控制器對發送隊列表進行循環偵測，直到保存數據正確發送到接收服務器，從而達到防止數據丟失的目的。

具體實施方式

一種網絡大數據處理平臺，包括，

數據采集服務器：采集互聯網上的數據，并對數據進行初步分類，并將相同類別的數據壓縮處理后傳輸至發送服務器；

發送服務器：接收數據采集服務器發送的數據后，保存接收的數據并按照數據類別和接收時間建立發送隊列表；

接收服務器，按照數據類別進行分組，并對接收服務器組進行編號，接收服務器組按照數據分類，不同的接收服務器組只接收同類別的數據，并保存接收的數據；

中央控制器：中央控制器采集接收服務器組的狀態，并根據采集的狀態建立接收隊列表，接收隊列表內保存各個接收服務器的工作狀態和繁忙程度；

中央控制器以循環的方式偵測發送隊列表，并依據接收隊列表記錄的數據控制數據的傳輸；

數據采集服務器內設置數據篩選模塊，數據篩選模塊對采集的數據進行篩選，將無用的數據篩選出去。

如在電商中將數據簡單的分為家電、手機、電腦、辦公用品、服裝、化妝品和其它。

數據采集服務器將采集的數據按照上述的分類要求進行分類后，發送至發送服務器保存，并建立發送隊列表，對應的接收服務器分為家電接收服務器組、手機接收服務器組、電腦接收服務器組、辦公用品接收服務器組、服裝接收服務器組、化妝品接收服務器組和其它接收服務器組。

家電接收服務器組只接收家電類的數據、化妝品接收服務器組至接收化妝品的數據。如發送服務器發送的數據類別和順序為家電1、手機1、電腦1、辦公用品1、服裝1、家電2、家電3和辦公用品1，發送隊列表按照該順序建立，中央控制器以循環的方式偵測發送隊列表后，首先調取接收隊列表的記錄，如接收隊列表內顯示家電接收服務器組正常，可以接收數據，中央控制器控制發送服務器將家電1的數據發送到家電接收服務器，同理將手機1、電腦1、辦公用品1和服裝1按照順序發送，發送家電2數據時，如家電接收服務器的通道被堵塞，中央控制器往下順延，發送下一個數據，如辦公用品1，發送完辦公用品1后，中央控制器從新偵測發送隊列表，至到發送隊列表內的數據都發送完畢，再進行下一輪數據的發送。

接收服務器接收到相應數據后，給中央控制器發送一個反饋信號，中央控制器接收到反饋信號后，控制發送服務器，將發送服務器內相應的數據刪除。

最后應說明的是：以上所述僅為本發明的優選實施例而已，并不用于限制本發明，盡管參照前述實施例對本發明進行了詳細的說明，對于本領域的技術人員來說，其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。