[發(fā)明專利]一種爬蟲數(shù)據(jù)的識別方法、系統(tǒng)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202010112134.8
• 申請日: 2020-02-24
• 公開（公告）號: CN111368163A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 陳志勇;王鳳杰;趙志文
• 申請（專利權(quán)）人: 網(wǎng)宿科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F16/958
• 代理公司: 北京華智則銘知識產(chǎn)權(quán)代理有限公司 11573
• 代理人: 陳剛

1.一種爬蟲數(shù)據(jù)的識別方法，其特征在于，所述方法包括：

獲取目標(biāo)網(wǎng)站的站點(diǎn)地圖數(shù)據(jù)，并生成所述站點(diǎn)地圖數(shù)據(jù)的向量圖；

獲取所述目標(biāo)網(wǎng)站的會話數(shù)據(jù)，并基于所述會話數(shù)據(jù)中包含的請求，將所述會話數(shù)據(jù)映射為所述向量圖中的子圖；

為所述會話數(shù)據(jù)添加會話標(biāo)簽，所述會話標(biāo)簽用于表征所述會話數(shù)據(jù)是否為爬蟲數(shù)據(jù)，并基于所述會話標(biāo)簽和所述子圖對預(yù)設(shè)分類器進(jìn)行訓(xùn)練，以得到用于區(qū)分爬蟲數(shù)據(jù)和非爬蟲數(shù)據(jù)的分類器。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，生成所述站點(diǎn)地圖數(shù)據(jù)的向量圖包括：

識別所述站點(diǎn)地圖數(shù)據(jù)中包含的各個(gè)訪問鏈接，并基于各個(gè)所述訪問鏈接之間的跳轉(zhuǎn)關(guān)系，確定各個(gè)所述訪問鏈接對應(yīng)的節(jié)點(diǎn)位置；

將包含各個(gè)所述節(jié)點(diǎn)位置的圖像作為所述站點(diǎn)地圖數(shù)據(jù)的向量圖。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取所述目標(biāo)網(wǎng)站的會話數(shù)據(jù)包括：

讀取所述目標(biāo)網(wǎng)站的流量日志，并將所述流量日志中的訪問數(shù)據(jù)按照會話進(jìn)行分組，以得到一組或者多組會話數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述會話數(shù)據(jù)映射為所述向量圖中的子圖包括：

識別所述會話數(shù)據(jù)中包含的請求，并在所述向量圖中查詢各個(gè)所述請求對應(yīng)的節(jié)點(diǎn)位置；

根據(jù)各個(gè)所述請求的請求信息，生成與各個(gè)所述請求相匹配的請求節(jié)點(diǎn)，并將生成的所述請求節(jié)點(diǎn)填充于對應(yīng)的節(jié)點(diǎn)位置處；

將各個(gè)所述請求按照訪問時(shí)間進(jìn)行排序，并根據(jù)排序結(jié)果，確定各個(gè)所述請求節(jié)點(diǎn)之間的連接關(guān)系，并將具備所述連接關(guān)系的各個(gè)所述請求節(jié)點(diǎn)構(gòu)成的圖像作為映射得到的子圖。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，生成與各個(gè)所述請求相匹配的請求節(jié)點(diǎn)包括：

針對各個(gè)所述請求中的任一目標(biāo)請求，統(tǒng)計(jì)所述目標(biāo)請求對應(yīng)的訪問鏈接的訪問頻率，并確定所述訪問頻率對應(yīng)的節(jié)點(diǎn)半徑；

生成具備所述節(jié)點(diǎn)半徑的請求節(jié)點(diǎn)，并將具備所述節(jié)點(diǎn)半徑的請求節(jié)點(diǎn)作為與所述目標(biāo)請求相匹配的請求節(jié)點(diǎn)。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)排序結(jié)果，確定各個(gè)所述請求節(jié)點(diǎn)之間的連接關(guān)系包括：

在各個(gè)所述請求節(jié)點(diǎn)中確定訪問時(shí)間相鄰的任意兩個(gè)請求節(jié)點(diǎn)，若所述兩個(gè)請求節(jié)點(diǎn)為不同的請求節(jié)點(diǎn)，在所述兩個(gè)請求節(jié)點(diǎn)之間建立連線。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述會話標(biāo)簽和所述子圖對預(yù)設(shè)分類器進(jìn)行訓(xùn)練包括：

將所述子圖輸入所述預(yù)設(shè)分類器，并將所述預(yù)設(shè)分類器輸出的分類結(jié)果與所述會話標(biāo)簽進(jìn)行對比；

若所述分類結(jié)果與所述會話標(biāo)簽不一致，生成校正信息，并利用所述校正信息對所述預(yù)設(shè)分類器的內(nèi)部參數(shù)進(jìn)行調(diào)整，以使得再次將所述子圖輸入所述預(yù)設(shè)分類器后，所述預(yù)設(shè)分類器輸出的分類結(jié)果與所述會話標(biāo)簽保持一致。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，在得到用于區(qū)分爬蟲數(shù)據(jù)和非爬蟲數(shù)據(jù)的分類器后，所述方法還包括：

獲取客戶端針對所述目標(biāo)網(wǎng)站發(fā)起的目標(biāo)會話數(shù)據(jù)，并將所述目標(biāo)會話數(shù)據(jù)映射為所述向量圖的目標(biāo)子圖；

將所述目標(biāo)子圖輸入訓(xùn)練后的所述分類器中，并通過所述分類器的輸出結(jié)果判斷所述目標(biāo)會話數(shù)據(jù)是否為爬蟲數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，將所述目標(biāo)會話數(shù)據(jù)映射為所述向量圖的目標(biāo)子圖包括：

識別所述目標(biāo)會話數(shù)據(jù)中的請求數(shù)量是否達(dá)到指定數(shù)量閾值，若達(dá)到所述指定數(shù)量閾值，將所述目標(biāo)會話數(shù)據(jù)映射為所述向量圖的目標(biāo)子圖；其中，所述指定數(shù)量閾值在訓(xùn)練所述用于區(qū)分爬蟲數(shù)據(jù)和非爬蟲數(shù)據(jù)的分類器時(shí)確定。