[發(fā)明專利]一種盜鏈檢測方法、系統(tǒng)及裝置

在審

• 申請?zhí)枺?/td>: 201310098805.X
• 申請日: 2013-03-26
• 公開（公告）號: CN104079531A
• 公開（公告）日: 2014-10-01
• 發(fā)明（設(shè)計）人: 粟栗;付俊;張峰
• 申請（專利權(quán)）人: 中國移動通信集團公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 牛崢;王麗琴

1.一種盜鏈檢測方法，其特征在于，該方法包括：

提取提供網(wǎng)頁內(nèi)容的網(wǎng)站所屬服務(wù)器Web日志信息，確定訪問該網(wǎng)頁內(nèi)容的訪問網(wǎng)站；

分析確定的訪問網(wǎng)站訪問網(wǎng)頁內(nèi)容的行為信息是否符合設(shè)置的行為規(guī)則，如果是，允許訪問；如果否，對所確定的訪問網(wǎng)站中的頁面爬取；

確定所爬取的頁面是否嵌套網(wǎng)頁內(nèi)容，如果是，所爬取的頁面所屬網(wǎng)站為盜鏈網(wǎng)站，對該盜鏈網(wǎng)站的訪問阻止；如果否，允許訪問。

2.如權(quán)利要求1所述的方法，其特征在于，所述Web日志信息中包括請求資源字段，在確定訪問該網(wǎng)頁內(nèi)容的訪問網(wǎng)站之前，該方法還包括：

根據(jù)該字段確定提供網(wǎng)頁內(nèi)容的網(wǎng)站是否需要授權(quán)訪問，如果是，則確定訪問該網(wǎng)頁內(nèi)容的訪問網(wǎng)站；如果否，結(jié)束；

所述Web日志信息中包括來源頁面字段，根據(jù)來源頁面字段確定訪問該網(wǎng)頁內(nèi)容的訪問網(wǎng)站。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述所述服務(wù)器為多個，所述Web日志信息為提取多個所述服務(wù)器Web日志信息后，轉(zhuǎn)換為統(tǒng)一格式。

4.如權(quán)利要求1所述的方法，其特征在于，所述行為規(guī)則為包括域名或/和IP地址的白名單，該白名單為內(nèi)容授權(quán)白名單、入口白名單或/和用戶身份認定白名單，其中，

所述Web日志信息中包括頁面來源字段，根據(jù)該字段確定訪問網(wǎng)站的域名或/和IP地址后，確定是否在內(nèi)容授權(quán)白名單中或在入口白名單中；

所述Web日志信息中包括授權(quán)用戶字段及用戶代理字段，根據(jù)授權(quán)用戶字段對訪問網(wǎng)站鑒權(quán)通過后，且用戶代理字段為非空時，確定是否在用戶身份認定白名單中。

5.如權(quán)利要求4所述的方法，其特征在于，所述白名單實時更新。

6.如權(quán)利要求4所述的方法，其特征在于，所述行為規(guī)則還包括流量或/和訪問數(shù)量的閾值；

所述訪問網(wǎng)站對網(wǎng)頁內(nèi)容的流量或/和訪問數(shù)量超過設(shè)置的閾值時且判定為不為搜索引擎類型時，確定不符合訪問規(guī)則，如果訪問網(wǎng)站對網(wǎng)頁內(nèi)容的流量或/和訪問數(shù)量超過設(shè)置的閾值時且為搜索引擎類型時，確定符合訪問規(guī)則，將該訪問網(wǎng)站添加到入口白名單中。

7.如權(quán)利要求1所述的方法，其特征在于，所述確定所爬取的頁面是否嵌套網(wǎng)頁內(nèi)容是根據(jù)所爬取的頁面編寫代碼中是否包括嵌套網(wǎng)頁內(nèi)容的關(guān)鍵字判定的。

8.如權(quán)利要求1所述的方法，其特征在于，所述對該盜鏈網(wǎng)站的訪問阻止為：根據(jù)所設(shè)定的阻止規(guī)則，將盜鏈網(wǎng)站信息提交到阻止設(shè)備中，由阻止設(shè)備阻止該盜鏈網(wǎng)站訪問網(wǎng)頁內(nèi)容。

9.一種盜鏈檢測系統(tǒng)，其特征在于，該系統(tǒng)包括：提供網(wǎng)頁內(nèi)容的網(wǎng)站所屬服務(wù)器、盜鏈檢測及阻止裝置及訪問網(wǎng)站，其中，

提供網(wǎng)頁內(nèi)容的網(wǎng)站所屬服務(wù)器，用于當(dāng)訪問網(wǎng)站訪問網(wǎng)頁內(nèi)容時，提供網(wǎng)頁內(nèi)容，記錄Web日志信息；

盜鏈檢測及阻止裝置，用于從提供網(wǎng)頁內(nèi)容的網(wǎng)站所屬服務(wù)器提取Web日志信息，確定訪問網(wǎng)站；分析所確定的訪問網(wǎng)站訪問網(wǎng)頁內(nèi)容的行為信息是否符合所設(shè)置的行為規(guī)則，如果是，允許訪問；如果否，對所確定的訪問網(wǎng)站中的頁面爬取；確定所爬取的頁面是否嵌套網(wǎng)頁內(nèi)容，如果是，所爬取的頁面所屬網(wǎng)站為盜鏈網(wǎng)站，對該盜鏈網(wǎng)站的訪問阻止；如果否，允許訪問;

訪問網(wǎng)站，用于訪問網(wǎng)頁內(nèi)容，或被盜鏈檢測及阻止裝置確定為盜鏈網(wǎng)站后被阻止訪問網(wǎng)頁內(nèi)容。

10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，盜鏈檢測及阻止裝置進一步包括：日志抓取模塊、日志處理模塊、盜鏈分析模塊、判定模塊及盜鏈網(wǎng)站阻止模塊，其中，

日志抓取模塊，用于從提供網(wǎng)頁內(nèi)容的網(wǎng)站所屬服務(wù)器提取Web日志信息；

日志處理模塊，用于根據(jù)提取的Web日志信息，確定訪問網(wǎng)站；

盜鏈分析模塊，用于分析所確定的訪問網(wǎng)站訪問網(wǎng)頁內(nèi)容的行為信息是否符合所設(shè)置的行為規(guī)則，如果是，允許訪問；如果否，對所確定的訪問網(wǎng)站中的頁面爬取，將所爬取的頁面發(fā)送給判定模塊；

判定模塊，用于確定所爬取的頁面是否嵌套網(wǎng)頁內(nèi)容，如果是，所爬取的頁面所屬網(wǎng)站為盜鏈網(wǎng)站，通知盜鏈網(wǎng)站阻止模塊，如果否，則允許訪問；

盜鏈網(wǎng)站阻止模塊，用于根據(jù)判定模塊的通知，阻止盜鏈網(wǎng)站訪問網(wǎng)頁內(nèi)容。