[發(fā)明專(zhuān)利]一種流量集成化采集系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210604914.3
• 申請(qǐng)日: 2022-05-30
• 公開(kāi)（公告）號(hào): CN115001993B
• 公開(kāi)（公告）日: 2023-02-28
• 發(fā)明（設(shè)計(jì)）人: 趙樂(lè)歡
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州爆米花科技股份有限公司
• 主分類(lèi)號(hào): H04L43/04
• 分類(lèi)號(hào): H04L43/04;H04L43/045;H04L43/08
• 代理公司: 杭州信與義專(zhuān)利代理有限公司 33450
• 代理人: 馬育妙

本發(fā)明公開(kāi)一種流量集成化采集系統(tǒng)，涉及流量智能采集技術(shù)領(lǐng)域。本發(fā)明用于解決沒(méi)有對(duì)流量數(shù)據(jù)包的相關(guān)數(shù)據(jù)進(jìn)行采集分析處理，并與流量集成化的采集數(shù)據(jù)結(jié)合進(jìn)行多維度分析處理，不利于流量精細(xì)化整合管理的技術(shù)問(wèn)題；將一級(jí)子集內(nèi)流量的接口性能信息通過(guò)傳輸性能分析處理，得到反映一級(jí)子集內(nèi)流量對(duì)應(yīng)的接口傳輸性能情況的傳輸性能因子，便于后續(xù)與流量集成化采集數(shù)據(jù)結(jié)合進(jìn)行多維度分析處理；通過(guò)多維度采集包性能波動(dòng)信號(hào)和包性能危險(xiǎn)信號(hào)對(duì)應(yīng)的一級(jí)子集內(nèi)流量的訪問(wèn)、更新、傳輸相關(guān)數(shù)據(jù)，并與傳輸性能因子結(jié)合，多維分析得到反映流量訪問(wèn)熱度、傳輸效率綜合情況的熱效因子，便于針對(duì)性的進(jìn)行流量精細(xì)化整合管理。

技術(shù)領(lǐng)域

本發(fā)明涉及流量智能采集技術(shù)領(lǐng)域，具體涉及一種流量集成化采集系統(tǒng)。

背景技術(shù)

網(wǎng)絡(luò)流量是單位時(shí)間內(nèi)通過(guò)網(wǎng)絡(luò)鏈路的數(shù)據(jù)包總體，是衡量網(wǎng)絡(luò)負(fù)荷和轉(zhuǎn)發(fā)性能的基本指標(biāo)。網(wǎng)絡(luò)流量監(jiān)測(cè)即抓取網(wǎng)絡(luò)中傳輸數(shù)據(jù)包的總體數(shù)據(jù)并統(tǒng)計(jì)，而采集網(wǎng)絡(luò)流量數(shù)據(jù)是對(duì)網(wǎng)絡(luò)IP數(shù)據(jù)報(bào)文的收集。網(wǎng)絡(luò)流量采集分析已經(jīng)成為數(shù)據(jù)中心基礎(chǔ)設(shè)施不可缺少的分析手段，通過(guò)網(wǎng)絡(luò)流量深度分析，網(wǎng)絡(luò)管理人員能夠更直觀地加快故障定位、分析應(yīng)用數(shù)據(jù)，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、系統(tǒng)性能和安全控制，加快故障定位。

網(wǎng)絡(luò)流量采集是流量分析體系的基礎(chǔ)，一個(gè)覆蓋全面、合理有效的流量采集網(wǎng)絡(luò)，有助于提高網(wǎng)絡(luò)流量的采集、過(guò)濾和分析效率，滿足不同角度的流量分析需求，優(yōu)化網(wǎng)絡(luò)和業(yè)務(wù)性能指標(biāo)，提高用戶體驗(yàn)和滿意度。公布號(hào)CN112182080A的發(fā)明專(zhuān)利公開(kāi)了數(shù)據(jù)集成系統(tǒng)和基于數(shù)據(jù)集成系統(tǒng)的數(shù)據(jù)處理方法，該系統(tǒng)包括：資源隔離模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)集成模塊和系統(tǒng)數(shù)據(jù)庫(kù)，其中，資源隔離模塊用于：設(shè)置系統(tǒng)和所系統(tǒng)包含的至少一個(gè)項(xiàng)目對(duì)應(yīng)的權(quán)限，以實(shí)現(xiàn)資源隔離；數(shù)據(jù)采集模塊用于：調(diào)用數(shù)據(jù)采集接口進(jìn)行數(shù)據(jù)采集，將采集的數(shù)據(jù)落地到系統(tǒng)數(shù)據(jù)庫(kù)；數(shù)據(jù)集成模塊用于：訪問(wèn)系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，按照數(shù)據(jù)處理規(guī)則對(duì)訪問(wèn)的數(shù)據(jù)進(jìn)行處理。該實(shí)施方式能夠?qū)?shù)據(jù)采集和數(shù)據(jù)集成過(guò)程一體化，用戶不需要為每個(gè)應(yīng)用開(kāi)發(fā)后臺(tái)服務(wù)，減少人力成本和代碼維護(hù)成本。研究發(fā)現(xiàn)存在以下技術(shù)缺陷：沒(méi)有對(duì)流量數(shù)據(jù)包的相關(guān)數(shù)據(jù)進(jìn)行采集分析處理，并與流量集成化的采集數(shù)據(jù)結(jié)合進(jìn)行多維度分析處理，不利于流量精細(xì)化整合管理。

針對(duì)此方面的技術(shù)缺陷，現(xiàn)提出一種解決方案。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種流量集成化采集系統(tǒng)，用于解決現(xiàn)有技術(shù)中沒(méi)有對(duì)流量數(shù)據(jù)包的相關(guān)數(shù)據(jù)進(jìn)行采集分析處理，并與流量集成化的采集數(shù)據(jù)結(jié)合進(jìn)行多維度分析處理，不利于流量精細(xì)化整合管理的技術(shù)問(wèn)題；

通過(guò)采集網(wǎng)絡(luò)設(shè)備的流量外部信息、流量性能信息和接口性能信息，基于流量外部信息的五項(xiàng)特征數(shù)據(jù)判定一致后整合至一級(jí)子集內(nèi)，將一級(jí)子集內(nèi)流量的流量性能信息通過(guò)性能修正、預(yù)設(shè)權(quán)重、公式計(jì)算結(jié)合的數(shù)據(jù)包分析處理方式，得到反映一級(jí)子集內(nèi)流量的數(shù)據(jù)包情況的數(shù)據(jù)包性能因子，并以折線圖方式直觀反映字節(jié)數(shù)與數(shù)據(jù)包數(shù)量之間的變化關(guān)系，便于后續(xù)對(duì)數(shù)據(jù)包性能因子和折線圖進(jìn)一步分析得到數(shù)據(jù)包性能相關(guān)的信號(hào)，解決了沒(méi)有對(duì)流量數(shù)據(jù)包的相關(guān)數(shù)據(jù)進(jìn)行采集分析處理的技術(shù)問(wèn)題；

通過(guò)將一級(jí)子集內(nèi)流量的接口性能信息通過(guò)傳輸修正、預(yù)設(shè)權(quán)重、公式計(jì)算結(jié)合的傳輸性能分析處理方式，得到反映一級(jí)子集內(nèi)流量對(duì)應(yīng)的接口傳輸性能情況的傳輸性能因子，便于后續(xù)與流量集成化采集數(shù)據(jù)結(jié)合進(jìn)行多維度分析處理，解決了與流量集成化的采集數(shù)據(jù)結(jié)合進(jìn)行多維度分析處理的技術(shù)問(wèn)題；

通過(guò)將高熱高效信號(hào)、中熱中效信號(hào)和地?zé)岬托盘?hào)對(duì)應(yīng)的一級(jí)子集內(nèi)流量整合至二級(jí)子集內(nèi)，并基于上述信號(hào)反映的訪問(wèn)熱度、傳輸效率綜合情況，進(jìn)行添加分布式存儲(chǔ)服務(wù)器、擴(kuò)大存儲(chǔ)容量和壓縮存儲(chǔ)的針對(duì)性反饋操作，使得訪問(wèn)熱度高且傳輸高效的一級(jí)子集內(nèi)流量高速存儲(chǔ)且避免丟包，訪問(wèn)熱度適中且傳輸效率適中的一級(jí)子集內(nèi)流量存儲(chǔ)容量更大，訪問(wèn)熱度低且傳輸較慢的一級(jí)子集內(nèi)流量壓縮以節(jié)約內(nèi)存，解決了不利于流量精細(xì)化整合管理的技術(shù)問(wèn)題。

本發(fā)明的目的可以通過(guò)以下技術(shù)方案實(shí)現(xiàn)：