[發(fā)明專利]一種Web應(yīng)用防火墻的實(shí)現(xiàn)系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201911410679.0
• 申請日: 2019-12-31
• 公開（公告）號: CN111163097B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 張帆;康宇
• 申請（專利權(quán)）人: 新浪網(wǎng)技術(shù)（中國）有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L67/02;H04L67/1001;H04L67/1042;H04L41/14
• 代理公司: 北京卓嵐智財(cái)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11624
• 代理人: 郭智

1.一種Web應(yīng)用防火墻的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述系統(tǒng)包括：

Nginx系統(tǒng)，用于在用戶的web請求轉(zhuǎn)發(fā)給web應(yīng)用服務(wù)器之后，將所述web請求的相關(guān)信息記錄到訪問日志中，通過遠(yuǎn)程數(shù)據(jù)同步rsync工具將訪問日志實(shí)時推送至分布式消息kafka隊(duì)列中；以及，在接收到新的web請求時調(diào)用以插件形式加載的攔截系統(tǒng)；以及，在將用戶的web請求的相關(guān)信息記錄到訪問日志中之前，將web應(yīng)用服務(wù)器針對所述web請求返回的結(jié)果數(shù)據(jù)轉(zhuǎn)發(fā)給用戶；

檢測系統(tǒng)，用于從Kafka隊(duì)列讀取實(shí)時的訪問日志，根據(jù)預(yù)設(shè)的檢測模型判斷用戶是否需要攔截，如果需要攔截，則將需要攔截的用戶特征下發(fā)至攔截系統(tǒng)；

攔截系統(tǒng)，用于將檢測系統(tǒng)發(fā)送的需要攔截的用戶特征更新至本地的黑名單；以及，在Nginx服務(wù)器的調(diào)用下，檢測新的web請求的用戶特征是否命中黑名單，如果命中黑名單則攔截該web請求，如果沒有命中則將該web請求轉(zhuǎn)發(fā)給web應(yīng)用服務(wù)器；

所述Nginx系統(tǒng)運(yùn)行于負(fù)載均衡集群上，所述負(fù)載均衡集群由多臺負(fù)載均衡服務(wù)器組成；所述檢測系統(tǒng)運(yùn)行于分布式計(jì)算平臺Flink集群上，以使所述檢測系統(tǒng)分離到獨(dú)立的集群中形成并行架構(gòu)。

2.如權(quán)利要求1所述的web應(yīng)用防火墻的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述訪問日志存儲在負(fù)載均衡服務(wù)器的本地磁盤中；Nginx系統(tǒng)以每個web請求單獨(dú)記錄為一行的方式，將用戶的web請求的相關(guān)信息記錄到訪問日志中；其中，所述相關(guān)信息包括:請求時間、用戶IP、請求域名、請求URL、請求總耗時、請求狀態(tài)碼、請求大小、用戶代理User-Agent和用戶的鏈接來源Referer。

3.如權(quán)利要求1所述的web應(yīng)用防火墻的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述檢測系統(tǒng)包括：

數(shù)據(jù)清洗模塊，用于對所述從Kafka隊(duì)列讀取的實(shí)時的訪問日志進(jìn)行預(yù)處理和數(shù)據(jù)清洗，所述預(yù)處理包括格式轉(zhuǎn)換；

數(shù)據(jù)提取模塊，用于對所述預(yù)處理和數(shù)據(jù)清洗后的訪問日志進(jìn)行特征提取；

檢測模塊，用于將提取的用戶特征通過預(yù)設(shè)的檢測模型判斷用戶是否需要攔截，如果需要攔截，則將需要攔截的用戶特征下發(fā)至攔截系統(tǒng)。

4.如權(quán)利要求1所述的web應(yīng)用防火墻的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述檢測系統(tǒng)還包括：

檢測模型管理模塊，用于對離線存儲的歷史web請求的訪問日志數(shù)據(jù)進(jìn)行訓(xùn)練，獲得機(jī)器學(xué)習(xí)的檢測模型，并按照設(shè)定的時間周期更新所述檢測模型。

5.一種Web應(yīng)用防火墻的實(shí)現(xiàn)方法，其特征在于，所述方法包括：

Nginx系統(tǒng)在用戶的web請求轉(zhuǎn)發(fā)給web應(yīng)用服務(wù)器之后，將所述web請求的相關(guān)信息記錄到訪問日志中，通過遠(yuǎn)程數(shù)據(jù)同步rsync工具將訪問日志實(shí)時推送至分布式消息kafka隊(duì)列中；在將用戶的web請求的相關(guān)信息記錄到訪問日志中之前，將web應(yīng)用服務(wù)器針對所述web請求返回的結(jié)果數(shù)據(jù)轉(zhuǎn)發(fā)給用戶；

檢測系統(tǒng)從Kafka隊(duì)列讀取實(shí)時的訪問日志，根據(jù)預(yù)設(shè)的檢測模型判斷用戶是否需要攔截，如果需要攔截，則將需要攔截的用戶特征下發(fā)至攔截系統(tǒng)；攔截系統(tǒng)將檢測系統(tǒng)發(fā)送的需要攔截的用戶特征更新至本地的黑名單；

Nginx系統(tǒng)在接收到新的web請求時調(diào)用以插件形式加載的攔截系統(tǒng)，在Nginx服務(wù)器的調(diào)用下，攔截系統(tǒng)檢測新的web請求的用戶特征是否命中黑名單，如果命中黑名單則攔截該web請求，如果沒有命中則將該web請求轉(zhuǎn)發(fā)給web應(yīng)用服務(wù)器；

所述Nginx系統(tǒng)運(yùn)行于負(fù)載均衡集群上，所述負(fù)載均衡集群由多臺負(fù)載均衡服務(wù)器組成；所述檢測系統(tǒng)運(yùn)行于分布式計(jì)算平臺Flink集群上，以使所述檢測系統(tǒng)分離到獨(dú)立的集群中形成并行架構(gòu)。

6.如權(quán)利要求5所述的web應(yīng)用防火墻的實(shí)現(xiàn)方法，其特征在于，所述訪問日志存儲在負(fù)載均衡服務(wù)器的本地磁盤中；Nginx系統(tǒng)以每個web請求單獨(dú)記錄為一行的方式，將用戶的web請求的相關(guān)信息記錄到訪問日志中；其中，所述相關(guān)信息包括:請求時間、用戶IP、請求域名、請求URL、請求總耗時、請求狀態(tài)碼、請求大小、用戶代理User-Agent和用戶的鏈接來源Referer。