[發(fā)明專利]一種基于三層Sketch架構(gòu)的大象流檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910067412.X
• 申請(qǐng)日: 2019-01-24
• 公開(kāi)（公告）號(hào): CN109861881B
• 公開(kāi)（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 齊恒;趙柯妍;李克秋;王軍曉
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;H04L29/06
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 梅洪玉;劉秋彤

一種基于三層Sketch架構(gòu)的大象流檢測(cè)方法，屬于計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域。本發(fā)明首先獲取網(wǎng)絡(luò)流量數(shù)據(jù)，然后對(duì)獲取的實(shí)時(shí)或離線的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行解析，將解析得到的網(wǎng)絡(luò)流量數(shù)據(jù)的五元組信息作為Sketch的輸入。接著設(shè)計(jì)了一種三層Sketch架構(gòu)，通過(guò)哈希操作和特定的置換方法，對(duì)輸入的網(wǎng)絡(luò)信息進(jìn)行統(tǒng)計(jì)和測(cè)量。最后根據(jù)查詢?nèi)龑覵ketch架構(gòu)而得到測(cè)量結(jié)果，并將結(jié)果與預(yù)設(shè)的大象流閾值進(jìn)行比較，從而實(shí)現(xiàn)大象流的檢測(cè)任務(wù)。本發(fā)明對(duì)已有的大象流檢測(cè)方法進(jìn)行創(chuàng)新，其優(yōu)勢(shì)在于不增加內(nèi)存消耗的情況下可以大大提高大象流檢測(cè)的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種基于三層Sketch架構(gòu)的大象流檢測(cè)方法。

背景技術(shù)

如今，互聯(lián)網(wǎng)已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠郑ヂ?lián)網(wǎng)流量增長(zhǎng)速度飛快，截至2018年，每年全球的互聯(lián)網(wǎng)流量已達(dá)到了1.6ZB。隨著網(wǎng)絡(luò)流量的飛速增長(zhǎng)，對(duì)網(wǎng)絡(luò)進(jìn)行有效管理變得愈發(fā)困難，其根本原因是我們無(wú)法全面的了解網(wǎng)絡(luò)行為。因此，網(wǎng)絡(luò)測(cè)量作為監(jiān)控、認(rèn)知和掌握網(wǎng)絡(luò)行為的重要方式，引起了研究人員的廣泛關(guān)注，使得網(wǎng)絡(luò)測(cè)量成為近幾年的研究熱點(diǎn)。

在網(wǎng)絡(luò)測(cè)量所包含的眾多技術(shù)中，大象流檢測(cè)屬于一項(xiàng)關(guān)鍵性技術(shù)，在擁塞控制、網(wǎng)絡(luò)容量規(guī)劃、網(wǎng)絡(luò)異常檢測(cè)、故障排除和流量工程等方面有著廣泛的應(yīng)用。所謂大象流一般是指流大小超過(guò)給定閾值的流，或者是在測(cè)量間隔中占總網(wǎng)絡(luò)流量百分比達(dá)到特定值的流。例如，DDos攻擊之類的大規(guī)模網(wǎng)絡(luò)異常事件往往可被視為大象流，有效的大象流檢測(cè)方法便有助于網(wǎng)絡(luò)異常的及時(shí)發(fā)現(xiàn)。

傳統(tǒng)的大象流檢測(cè)方法大多是基于數(shù)據(jù)包采樣的。但是，數(shù)據(jù)包采樣會(huì)丟失一些信息，導(dǎo)致大象流檢測(cè)的準(zhǔn)確度不高。一些研究表明，數(shù)據(jù)包采樣不足以進(jìn)行細(xì)粒度測(cè)量。最近，基于Sketch的數(shù)據(jù)流統(tǒng)計(jì)算法被廣泛應(yīng)用于網(wǎng)絡(luò)測(cè)量，如流大小估算，大象流檢測(cè)和流數(shù)量估算等。廣泛使用Sketch的關(guān)鍵原因是，與采樣方法相比Sketch具有更高的準(zhǔn)確度。

雖然研究人員已經(jīng)在Sketch方法方面做出了重大貢獻(xiàn)，但是現(xiàn)有方法在實(shí)際大象流檢測(cè)中依然不能有效地工作。因?yàn)楫?dāng)網(wǎng)絡(luò)出現(xiàn)DDoS攻擊，網(wǎng)絡(luò)擁塞和掃描等問(wèn)題時(shí)，現(xiàn)有Sketch方法的準(zhǔn)確性會(huì)隨著流量的變化而產(chǎn)生波動(dòng)，從而顯著降低大象流檢測(cè)性能。

最新提出的Elastic Sketch雖然可以適應(yīng)當(dāng)前的流量變化，但是該方法在內(nèi)存消耗和檢測(cè)準(zhǔn)確度方面仍有提升的空間。Elastic Sketch中包含heavy和light兩部分，其中heavy部分存有數(shù)據(jù)包的流ID，可以準(zhǔn)確記錄流的數(shù)據(jù)包數(shù)量；light部分不記錄數(shù)據(jù)包的流ID，只能粗略估計(jì)流的數(shù)據(jù)包數(shù)量。進(jìn)入的數(shù)據(jù)包先通過(guò)哈希操作將信息存到heavy中，發(fā)生哈希碰撞時(shí)，根據(jù)一定的計(jì)算會(huì)將某個(gè)流從heavy部分移除，然后通過(guò)哈希操作并使用CM Sketch的增量操作方式將移除的流存到light中。若有過(guò)多的流(尤其是大流)從heavy中移除，并通過(guò)哈希操作存到light中，就會(huì)使大象流檢測(cè)變得不準(zhǔn)確。而想要提高ElasticSketch的準(zhǔn)確度，則需要增加內(nèi)存。但是大象流檢測(cè)一般是依附于交換機(jī)、路由器等網(wǎng)絡(luò)設(shè)備，這些網(wǎng)絡(luò)設(shè)備上的內(nèi)存是極為珍貴的資源，如果采用這種增大內(nèi)存的方法來(lái)提高準(zhǔn)確度會(huì)導(dǎo)致內(nèi)存不足，進(jìn)而影響原網(wǎng)絡(luò)設(shè)備的功能。

綜上，現(xiàn)有大象流檢測(cè)方法仍有很大的改善空間，為此，本發(fā)明在Elastic Sketch方法基礎(chǔ)上進(jìn)行了創(chuàng)新，設(shè)計(jì)一種基于三層Sketch架構(gòu)的大象流檢測(cè)方法，可以在不需要增加內(nèi)存的情況下提高大象流檢測(cè)的準(zhǔn)確度。

發(fā)明內(nèi)容