[發(fā)明專利]對來自網(wǎng)絡(luò)的訪問請求產(chǎn)生黑名單的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201510021643.9
• 申請日: 2015-01-16
• 公開（公告）號: CN104580228A
• 公開（公告）日: 2015-04-29
• 發(fā)明（設(shè)計）人: 翁志;馬殿軍;肖思興
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張煥生;謝麗娜

技術(shù)領(lǐng)域

本發(fā)明涉及一種對來自網(wǎng)絡(luò)的訪問請求產(chǎn)生黑名單的系統(tǒng)和方法，使得可以對來自網(wǎng)絡(luò)的訪問請求進行限制。

背景技術(shù)

傳統(tǒng)的負載平衡器(Load?Balancer)，如采用linux下HaProxy的配置，用于讀取來自網(wǎng)絡(luò)的每一個HTTP請求中所包含的cookies或URL解釋，并且基于這些信息重寫報頭并將HTTP請求發(fā)往后端服務(wù)器群，使得后端服務(wù)器群中各服務(wù)器達到流量、資源占用的平衡狀態(tài)。但是，傳統(tǒng)的負載平衡器不會自動對網(wǎng)絡(luò)的流量進行濾過檢查，不能對攻擊流量進行限流或丟棄。

在現(xiàn)有技術(shù)中，已知有基于流量清洗技術(shù)通過偵測TCP分組來實現(xiàn)針對ICMP/TCP/UDP流攻擊進行防護的，通過重發(fā)TCP/UDP分組來實現(xiàn)。這種已知方案僅對TCP/UDP層的分組有效，它對于預(yù)防需解密的開放式系統(tǒng)互聯(lián)參考模型(OSI)第7層應(yīng)用層的HTTP流攻擊無能為力。

一種想法是根據(jù)對訪問URL做統(tǒng)計，根據(jù)單位時間訪問量如QPS來限制訪問請求。針對一個大型網(wǎng)站訪問URL的統(tǒng)計通常消耗很多內(nèi)存。一般來說，對于數(shù)據(jù)項IP地址、用戶標(biāo)識(USERID)、統(tǒng)一資源定位符(URL)等的任何一個組合，需要記錄與該組合相關(guān)聯(lián)的每一個訪問的時間戳(timestamp)。

在現(xiàn)有技術(shù)中，當(dāng)需要計算QPS時，將各個時間點過濾或排序，既費時又耗內(nèi)存。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種對來自網(wǎng)絡(luò)的訪問請求產(chǎn)生黑名單的系統(tǒng)和方法，使得可以對來自網(wǎng)絡(luò)的訪問請求進行限制。

根據(jù)本發(fā)明的一個方面，提供一種對來自網(wǎng)絡(luò)的訪問請求產(chǎn)生黑名單的系統(tǒng)，包括：接收部分，所述接收部分按預(yù)定的請求時間間隔向聚集器請求統(tǒng)計結(jié)果，并接收來自所述聚集器的統(tǒng)計結(jié)果，其中所述統(tǒng)計結(jié)果給出了在預(yù)定統(tǒng)計時長內(nèi)累計的包含有預(yù)定義統(tǒng)計數(shù)據(jù)項組合的UDP報文數(shù)量，每個UDP報文是根據(jù)解析相應(yīng)訪問請求而產(chǎn)生；生成部分，所述生成部分根據(jù)所接收的統(tǒng)計結(jié)果和預(yù)定義規(guī)則生成訪問請求的黑名單；監(jiān)聽部分，該監(jiān)聽部分以異步方式把所述黑名單加載至負載均衡器。

根據(jù)本發(fā)明的另一方面，提供一種對來自網(wǎng)絡(luò)的訪問請求產(chǎn)生黑名單的方法，包括：按預(yù)定的請求時間間隔向聚集器請求統(tǒng)計結(jié)果，并接收來自所述聚集器的統(tǒng)計結(jié)果，其中所述統(tǒng)計結(jié)果給出了在預(yù)定統(tǒng)計時長內(nèi)累計的包含有預(yù)定義統(tǒng)計數(shù)據(jù)項組合的UDP報文數(shù)量，每個UDP報文是根據(jù)解析相應(yīng)訪問請求而產(chǎn)生；根據(jù)所接收的統(tǒng)計結(jié)果和預(yù)定義規(guī)則生成訪問請求的黑名單；以異步方式把所述黑名單加載至負載均衡器。

根據(jù)本發(fā)明，其中以異步方式把所述黑名單加載至負載均衡器包括：監(jiān)聽負載均衡器的請求，當(dāng)負載均衡器發(fā)起請求時，獲取黑名單，并把黑名單發(fā)送給所述負載均衡器。

根據(jù)本發(fā)明，其中所述聚集器包括多臺彼此獨立運行的聚集機，各臺聚集機分別進行所述的統(tǒng)計。本發(fā)明的方法還包括從所述多臺聚集機分別接收統(tǒng)計結(jié)果，并根據(jù)所述分別接收的統(tǒng)計結(jié)果產(chǎn)生匯總的統(tǒng)計結(jié)果。并且所述黑名單根據(jù)所述匯總的統(tǒng)計結(jié)果和所述預(yù)定義規(guī)則生成。

根據(jù)本發(fā)明的方法，還包括，利用設(shè)置了針對各預(yù)定目的域名的單位時間請求量閥值和處理動作的配置文件，根據(jù)所述統(tǒng)計結(jié)果計算對應(yīng)所述預(yù)定義統(tǒng)計數(shù)據(jù)項組合的訪問請求的單位時間訪問量，當(dāng)該訪問量超過了其目的域名對應(yīng)的單位時間訪問量閥值時，則建立相應(yīng)的黑名單記錄，該記錄包括該訪問請求的目的域名、用戶名和客戶端IP以及相應(yīng)的處理動作，并且所產(chǎn)生的黑名單記錄被加入所述黑名單，從而產(chǎn)生當(dāng)前的黑名單。

根據(jù)本發(fā)明，其中所述單位時間請求量是每秒查詢率QPS值。

附圖說明

下面將參考附圖詳細地描述本發(fā)明的實施例，其中：

圖1是根據(jù)本發(fā)明的用于對來自網(wǎng)絡(luò)的訪問請求進行限制的系統(tǒng)的結(jié)構(gòu)圖；

圖2是根據(jù)本發(fā)明的對來自網(wǎng)絡(luò)的訪問請求產(chǎn)生黑名單的系統(tǒng)的示例性匯總器的組成框圖示例。

具體實施方式

本發(fā)明提供了利用統(tǒng)計信息產(chǎn)生黑名單，從而對來自網(wǎng)絡(luò)的訪問請求進行限制的系統(tǒng)和方法。

一個訪問請求，如來自因特網(wǎng)的HTTP請求，包括如下數(shù)據(jù)項：該訪問用戶要訪問的目的域名(host)；用戶請求的通用資源標(biāo)示符(uri)；用戶名(uid)；客戶端IP地址(cip)等。

根據(jù)本發(fā)明，提供一種對來自網(wǎng)絡(luò)的訪問請求進行限制的系統(tǒng)，該系統(tǒng)包括負載均衡器、聚集器和匯總器。

所述負載均衡器接收來自所述網(wǎng)絡(luò)的訪問請求，把所接收的每個訪問請求解析成一個UDP報文，并且把UDP報文傳送給聚集器。