[發(fā)明專利]一種通信大數(shù)據(jù)的處理系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710239991.2
• 申請(qǐng)日: 2017-04-13
• 公開(kāi)（公告）號(hào): CN107070748A
• 公開(kāi)（公告）日: 2017-08-18
• 發(fā)明（設(shè)計(jì)）人: 周發(fā)輝;李衛(wèi)群;張佳杰;文川;蘭海翔;陳軍
• 申請(qǐng)（專利權(quán)）人: 周發(fā)輝
• 主分類(lèi)號(hào): H04L12/26
• 分類(lèi)號(hào): H04L12/26
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司11212
• 代理人: 賴麗娟

1.一種通信大數(shù)據(jù)的處理系統(tǒng)，其特征在于：包括采集模塊、過(guò)濾模塊、分類(lèi)模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊，

所述采集模塊，其用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；

所述過(guò)濾模塊，其用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；

所述分類(lèi)模塊，其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；

所述存儲(chǔ)模塊，其用于分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；

所述解析模塊，其用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；

所述分發(fā)模塊，其用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

2.根據(jù)權(quán)利要求1所述的一種通信大數(shù)據(jù)的處理系統(tǒng)，其特征在于：所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)。

3.根據(jù)權(quán)利要求2所述的一種通信大數(shù)據(jù)的處理系統(tǒng)，其特征在于：所述存儲(chǔ)模塊包括網(wǎng)格存儲(chǔ)單元、線性存儲(chǔ)單元和樹(shù)形存儲(chǔ)單元，所述網(wǎng)格存儲(chǔ)單元、線性存儲(chǔ)單元和樹(shù)形存儲(chǔ)單元分別對(duì)應(yīng)存儲(chǔ)網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的一種通信大數(shù)據(jù)的處理系統(tǒng)，其特征在于：網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析。

5.根據(jù)權(quán)利要求3所述的一種通信大數(shù)據(jù)的處理系統(tǒng)，其特征在于：線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進(jìn)行解析。

6.根據(jù)權(quán)利要求3所述的一種通信大數(shù)據(jù)的處理系統(tǒng)，其特征在于：樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹(shù)形的方式進(jìn)行解析。

7.一種通信大數(shù)據(jù)的處理方法，其特征在于：包括以下步驟，

S1，以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；

S2，對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；

S3，根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；

S4，分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；

S5，采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；

S6，對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

8.根據(jù)權(quán)利要求7所述的一種通信大數(shù)據(jù)的處理方法，其特征在于：所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)。

9.根據(jù)權(quán)利要求8所述的一種通信大數(shù)據(jù)的處理方法，其特征在于：網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線性結(jié)構(gòu)的通信大數(shù)據(jù)和樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線性和樹(shù)形的形式進(jìn)行存儲(chǔ)。

10.根據(jù)權(quán)利要求9所述的一種通信大數(shù)據(jù)的處理方法，其特征在于：網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析，線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進(jìn)行解析，樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹(shù)形的方式進(jìn)行解析。