[發(fā)明專利]數(shù)據(jù)采集存儲方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210395266.1
• 申請日: 2012-10-17
• 公開（公告）號: CN102929799A
• 公開（公告）日: 2013-02-13
• 發(fā)明（設(shè)計）人: 祝守宇
• 申請（專利權(quán)）人: 北京西塔網(wǎng)絡(luò)科技股份有限公司
• 主分類號: G06F12/08
• 分類號: G06F12/08
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務所(普通合伙) 11371
• 代理人: 李世喆

技術(shù)領(lǐng)域

本發(fā)明涉及移動互聯(lián)網(wǎng)領(lǐng)域，尤其涉及數(shù)據(jù)采集存儲方法及系統(tǒng)。

背景技術(shù)

作為移動網(wǎng)絡(luò)的運營商來說，往往需要監(jiān)測移動終端對互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務的使用情況，進而獲取相關(guān)業(yè)務信息并存儲，如移動終端的上網(wǎng)記錄、通話記錄等?，F(xiàn)有技術(shù)中，一般通過數(shù)據(jù)采集存儲系統(tǒng)去采集移動終端在互聯(lián)網(wǎng)中所進行的數(shù)據(jù)傳輸，以實現(xiàn)對網(wǎng)絡(luò)傳輸數(shù)據(jù)的采集存儲。

然而，傳統(tǒng)的數(shù)據(jù)采集存儲系統(tǒng)，在對數(shù)據(jù)傳輸節(jié)點之間的傳輸信號進行采集的過程中，只能做到將采集點的所有數(shù)據(jù)全部采集，進而對采集到的所有數(shù)據(jù)進行存儲；但對于運營商來說，采集到的所有數(shù)據(jù)并不全是所需要的數(shù)據(jù)，其中包含了大量的垃圾數(shù)據(jù)；因而在存儲數(shù)據(jù)的過程中，對這些大量的垃圾數(shù)據(jù)也進行了存儲，從而降低了存儲性能，導致存儲效率較低。

發(fā)明內(nèi)容

本發(fā)明提出了數(shù)據(jù)采集存儲方法及系統(tǒng)，能夠提高存儲效率。

為了達到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

數(shù)據(jù)采集存儲方法，包括：

采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)；

將采集到的所述數(shù)據(jù)送入第一緩存；

當所述第一緩存中的所有數(shù)據(jù)形成的長度達到預設(shè)閾值時，將第一緩存中的所有數(shù)據(jù)批量送入第二緩存；

在第二緩存中，根據(jù)預先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)；

將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲。

優(yōu)選地，所述采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)之前，還包括：采用分光器將數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)男盘柗殖鲆徊糠?；將分出的這部分信號轉(zhuǎn)換為二進制數(shù)據(jù)包；

所述采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)包括：采集所述二進制數(shù)據(jù)包。

優(yōu)選地，在采集到所述二進制數(shù)據(jù)包之后，所述采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)還包括：

向所述二進制數(shù)據(jù)包中添加時間戳標識；

將添加了時間戳標識的二進制數(shù)據(jù)包送入所述第一緩存中；

當所述第一緩存中存儲的所有二進制數(shù)據(jù)包形成的長度達到所述預設(shè)閾值時，采用DMA技術(shù)將所有二進制數(shù)據(jù)包批量送入所述第二緩存中，以執(zhí)行所述對采集到的所有數(shù)據(jù)進行過濾處理的步驟。

優(yōu)選地，在所述對采集到的所有數(shù)據(jù)進行過濾處理之后，該方法進一步包括：根據(jù)預先設(shè)置的IP地址類別，對經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行分流處理，得到均等的多股數(shù)據(jù)；

所述將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲，進一步包括：將經(jīng)分流處理得到的每一股數(shù)據(jù)進行分別存儲。

優(yōu)選地，所述過濾條件包括數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方或接收方的IP地址；

對采集到的數(shù)據(jù)進行過濾和/或分流處理，包括：

設(shè)置有IP地址的哈希表，該哈希表中存儲了一個以上的IP地址；

在采集到數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)之后，根據(jù)數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方或接收方的IP地址，在所述哈希表中進行查找；

若查找到與所述數(shù)據(jù)發(fā)送方或接收方的IP地址相符的IP地址，則進行相應的過濾和/或分流處理。

優(yōu)選地，所述對經(jīng)分流得到的每一股數(shù)據(jù)進行分別存儲，包括：

設(shè)置有磁盤陣列，將所述每一股數(shù)據(jù)均分存儲在磁盤陣列中每一個小磁盤里。

優(yōu)選地，所述磁盤陣列中的每一個小磁盤為固態(tài)硬盤。

本發(fā)明還提供了數(shù)據(jù)采集存儲系統(tǒng)，包括：

采集模塊，用于采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)；

第一發(fā)送模塊，用于將采集到的所述數(shù)據(jù)送入第一緩存；

第二發(fā)送模塊，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到預設(shè)閾值時，將第一緩存中的所有數(shù)據(jù)批量送入第二緩存；

過濾模塊，用于在第二緩存中，根據(jù)預先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)；

存儲模塊，用于將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲。

優(yōu)選地，進一步包括：分光器，用于將數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)男盘柗殖鲆徊糠?；轉(zhuǎn)換模塊，用于將分出的這部分信號轉(zhuǎn)換為二進制數(shù)據(jù)包；

所述采集模塊，用于采集所述二進制數(shù)據(jù)包。

優(yōu)選地，進一步包括：時間戳模塊，用于向所述二進制數(shù)據(jù)包中添加時間戳標識；

所述第一發(fā)送模塊，用于將添加了時間戳標識的二進制數(shù)據(jù)包送入所述第一緩存中；

所述第二發(fā)送模塊包括DMA單元，用于當所述第一緩存中存儲的所有二進制數(shù)據(jù)包形成的長度達到所述預設(shè)閾值時，采用DMA技術(shù)將所有二進制數(shù)據(jù)包批量送入所述第二緩存中。