[發(fā)明專(zhuān)利]數(shù)據(jù)包信息存儲(chǔ)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710282207.6
• 申請(qǐng)日: 2017-04-26
• 公開(kāi)（公告）號(hào): CN107133294A
• 公開(kāi)（公告）日: 2017-09-05
• 發(fā)明（設(shè)計(jì)）人: 魏曉林
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海斐訊數(shù)據(jù)通信技術(shù)有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;H04L29/08
• 代理公司: 杭州千克知識(shí)產(chǎn)權(quán)代理有限公司33246
• 代理人: 周希良,吳輝輝

技術(shù)領(lǐng)域

本發(fā)明屬于通信技術(shù)領(lǐng)域，涉及一種數(shù)據(jù)包信息存儲(chǔ)方法及系統(tǒng)。

背景技術(shù)

在現(xiàn)有技術(shù)中，分析用戶(hù)的上網(wǎng)行為主要通過(guò)采集用戶(hù)的使用瀏覽器時(shí)產(chǎn)生的報(bào)文數(shù)據(jù)，抓取用戶(hù)發(fā)送至服務(wù)器的報(bào)文數(shù)據(jù)包，解析報(bào)文數(shù)據(jù)包的內(nèi)容，將報(bào)文數(shù)據(jù)包的內(nèi)容記錄下，并存儲(chǔ)到日志中。

用戶(hù)經(jīng)路由器上報(bào)給服務(wù)器的上行文件中的報(bào)文數(shù)據(jù)包，可分為三類(lèi)：

第一類(lèi)，超文本傳輸協(xié)議(HTTP，HyperText Transfer Protocol)GET報(bào)文數(shù)據(jù)包和超文本傳輸協(xié)議POST報(bào)文數(shù)據(jù)包；

第二類(lèi)，超文本傳輸協(xié)議中除了GET報(bào)文和POST報(bào)文之外的其他類(lèi)型報(bào)文數(shù)據(jù)包；

第三類(lèi)，基于安全套接層協(xié)議的超文本傳輸協(xié)議(HTTPS，Hyper Text Transfer Protocol over Secure Socket Layer)報(bào)文數(shù)據(jù)包。

這些三類(lèi)報(bào)文數(shù)據(jù)包都能夠獲取到路由器的MAC地址、用戶(hù)設(shè)備的MAC地址和用戶(hù)設(shè)備的IP地址等基本數(shù)據(jù)。而路由器上報(bào)給服務(wù)器的數(shù)據(jù)包中，僅有不到15％的數(shù)據(jù)屬于第一類(lèi)報(bào)文數(shù)據(jù)包的數(shù)據(jù)，而其他兩類(lèi)報(bào)文數(shù)據(jù)包的占比超過(guò)85％。目前，能夠分析出用戶(hù)行為數(shù)據(jù)的也只有第一類(lèi)報(bào)文數(shù)據(jù)包數(shù)據(jù)；而其他兩類(lèi)報(bào)文數(shù)據(jù)包的占比超過(guò)85％的超量數(shù)據(jù)，對(duì)于計(jì)算路由器的日用戶(hù)在線量、用戶(hù)流失率和用戶(hù)新增量等數(shù)據(jù)的統(tǒng)計(jì)顯得至關(guān)重要。

對(duì)于第二類(lèi)報(bào)文數(shù)據(jù)包和第三類(lèi)報(bào)文數(shù)據(jù)包由于僅需存儲(chǔ)路由器MAC地址、用戶(hù)設(shè)備MAC地址、用戶(hù)設(shè)備IP地址和時(shí)間戳，具有極高的重復(fù)性。

現(xiàn)有技術(shù)的用戶(hù)數(shù)據(jù)分析和統(tǒng)計(jì)中，這三類(lèi)報(bào)文數(shù)據(jù)包均是整條存儲(chǔ)在數(shù)據(jù)庫(kù)中的。由于大量冗余數(shù)據(jù)的存在，要求提供大的存儲(chǔ)空間來(lái)存儲(chǔ)上述報(bào)文數(shù)據(jù)包的數(shù)據(jù)，帶來(lái)存儲(chǔ)成本和體積的增加，增加的存儲(chǔ)部件甚至?xí)绊懺O(shè)備的散熱性能。另外，大量冗余數(shù)據(jù)的存儲(chǔ)無(wú)形中增加了數(shù)據(jù)庫(kù)的檢索難度，降低了數(shù)據(jù)處理和使用的效率。

發(fā)明內(nèi)容

本發(fā)明為了解決上述技術(shù)問(wèn)題，提出一種數(shù)據(jù)包信息存儲(chǔ)方法，適用于路由器上報(bào)給服務(wù)器的上行文件數(shù)據(jù)包的存儲(chǔ)，其特征在于，包括：

步驟S1，獲取待分析的數(shù)據(jù)包，所述數(shù)據(jù)包包括第一類(lèi)型數(shù)據(jù)包和第二類(lèi)型數(shù)據(jù)包；

步驟S2，當(dāng)所述數(shù)據(jù)包類(lèi)型為第一類(lèi)型數(shù)據(jù)包時(shí)，按照預(yù)定規(guī)則為所述數(shù)據(jù)包生成檢索信息；

步驟S3，根據(jù)所述檢索信息在超量數(shù)據(jù)映射表中檢索所述數(shù)據(jù)包的統(tǒng)計(jì)信息；如果檢索成功，則更新所述超量數(shù)據(jù)映射表中所述數(shù)據(jù)包的所述統(tǒng)計(jì)信息；如果檢索失敗，則將所述數(shù)據(jù)包的統(tǒng)計(jì)信息添加至所述超量數(shù)據(jù)映射表中。

作為優(yōu)選，所述第一類(lèi)型數(shù)據(jù)包包括基于安裝套接層的超文本傳輸協(xié)議數(shù)據(jù)包。

作為優(yōu)選，所述第一類(lèi)型數(shù)據(jù)包包括所述第一類(lèi)型數(shù)據(jù)包包括超文本傳輸協(xié)議HEAD數(shù)據(jù)包、超文本傳輸協(xié)議PUT數(shù)據(jù)包、超文本傳輸協(xié)議DELETE數(shù)據(jù)包、超文本傳輸協(xié)議CONNECT數(shù)據(jù)包、超文本傳輸協(xié)議OPTIONS數(shù)據(jù)包、超文本傳輸協(xié)議TRACE數(shù)據(jù)包。

作為優(yōu)選，所述第二類(lèi)型數(shù)據(jù)包包括超文本傳輸協(xié)議GET數(shù)據(jù)包和超文本傳輸協(xié)議POST數(shù)據(jù)包。

作為優(yōu)選，步驟S2中，根據(jù)所述數(shù)據(jù)包的路由器物理地址信息、設(shè)備物理地址信息、設(shè)備物聯(lián)網(wǎng)協(xié)議地址信息、時(shí)間戳信息，按照預(yù)定規(guī)則為所述數(shù)據(jù)包生成檢索信息。

作為優(yōu)選，所述檢索信息為包括所述路由器物理地址信息、設(shè)備物理地址信息、設(shè)備物聯(lián)網(wǎng)協(xié)議地址信息、時(shí)間戳信息的檢索字符串。

作為優(yōu)選，所述統(tǒng)計(jì)信息包括具有相同的所述檢索信息的數(shù)據(jù)包在統(tǒng)計(jì)周期內(nèi)出現(xiàn)的頻次。

作為優(yōu)選，所述超量數(shù)據(jù)映射表為鍵-值存儲(chǔ)數(shù)據(jù)庫(kù)，所述步驟S3中，以所述數(shù)據(jù)包的檢索信息作為鍵，以所述數(shù)據(jù)包的統(tǒng)計(jì)信息作為與所述鍵對(duì)應(yīng)的值，將所述數(shù)據(jù)包的統(tǒng)計(jì)信息添加至所述超量數(shù)據(jù)映射表中。

本發(fā)明還提供一種數(shù)據(jù)包存儲(chǔ)系統(tǒng)，適用于路由器上報(bào)給服務(wù)器的上行文件數(shù)據(jù)包的存儲(chǔ)，其特征在于，包括：

數(shù)據(jù)包獲取模塊，獲取待分析的數(shù)據(jù)包，所述數(shù)據(jù)包包括第一類(lèi)型數(shù)據(jù)包和第二類(lèi)型數(shù)據(jù)包；

數(shù)據(jù)存儲(chǔ)模塊，存儲(chǔ)超量數(shù)據(jù)映射表；所述超量存儲(chǔ)數(shù)據(jù)映射表為以所述數(shù)據(jù)包的檢索信息作為鍵，以所述數(shù)據(jù)包的統(tǒng)計(jì)信息作為所述鍵對(duì)應(yīng)的值的鍵-值存儲(chǔ)數(shù)據(jù)庫(kù)；

檢索信息生成模塊，當(dāng)所述數(shù)據(jù)包類(lèi)型為第一類(lèi)型數(shù)據(jù)包時(shí)，按照預(yù)定規(guī)則為所述數(shù)據(jù)包生成檢索信息；

檢索模塊，根據(jù)所述檢索信息在超量數(shù)據(jù)映射表中檢索所述數(shù)據(jù)包的統(tǒng)計(jì)信息；