[發(fā)明專利]網(wǎng)頁數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910857890.0
• 申請(qǐng)日: 2019-09-09
• 公開（公告）號(hào): CN110781366A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計(jì)）人: 梅錦振華
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951
• 代理公司: 44224 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司
• 代理人: 于麗君

1.一種網(wǎng)頁數(shù)據(jù)處理方法，所述方法包括：

獲取網(wǎng)頁行為數(shù)據(jù)，根據(jù)預(yù)設(shè)規(guī)則檢測(cè)所述網(wǎng)頁行為數(shù)據(jù)中是否存在異常行為數(shù)據(jù)；

當(dāng)所述網(wǎng)頁行為數(shù)據(jù)中存在所述異常行為數(shù)據(jù)時(shí)，獲取所述異常行為數(shù)據(jù)對(duì)應(yīng)的網(wǎng)頁訪問數(shù)據(jù)；

根據(jù)所述網(wǎng)頁訪問數(shù)據(jù)提取訪問特征，將所述訪問特征輸入到已訓(xùn)練的爬蟲識(shí)別模型中，得到爬蟲識(shí)別結(jié)果；

當(dāng)所述爬蟲識(shí)別結(jié)果是所述網(wǎng)頁訪問數(shù)據(jù)為爬蟲訪問數(shù)據(jù)時(shí)，得到所述網(wǎng)頁訪問數(shù)據(jù)中的爬蟲標(biāo)識(shí)，根據(jù)所述爬蟲標(biāo)識(shí)從所述網(wǎng)頁行為數(shù)據(jù)中得到對(duì)應(yīng)的爬蟲網(wǎng)頁行為數(shù)據(jù)；

根據(jù)所述爬蟲網(wǎng)頁行為數(shù)據(jù)和所述網(wǎng)頁行為數(shù)據(jù)得到目標(biāo)網(wǎng)頁行為數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取網(wǎng)頁行為數(shù)據(jù)，根據(jù)預(yù)設(shè)規(guī)則檢測(cè)所述網(wǎng)頁行為數(shù)據(jù)中是否存在異常行為數(shù)據(jù)，包括：

獲取第一時(shí)間段對(duì)應(yīng)的第一網(wǎng)頁行為數(shù)據(jù)和第二時(shí)間段對(duì)應(yīng)的第二網(wǎng)頁行為數(shù)據(jù)，根據(jù)所述第一網(wǎng)頁行為數(shù)據(jù)和所述第二網(wǎng)頁行為數(shù)據(jù)得到增量行為數(shù)據(jù)；

當(dāng)所述增量行為數(shù)據(jù)超過預(yù)設(shè)增量行為數(shù)據(jù)時(shí)，所述第二時(shí)間段對(duì)應(yīng)的第二網(wǎng)頁行為數(shù)據(jù)為異常行為數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取網(wǎng)頁行為數(shù)據(jù)，根據(jù)預(yù)設(shè)規(guī)則檢測(cè)所述網(wǎng)頁行為數(shù)據(jù)中是否存在異常行為數(shù)據(jù)，包括：

獲取各個(gè)歷史時(shí)間段的網(wǎng)頁行為數(shù)據(jù)，根據(jù)所述各個(gè)歷史時(shí)間段的網(wǎng)頁行為數(shù)據(jù)計(jì)算得到歷史數(shù)據(jù)增長(zhǎng)率；

獲取目標(biāo)時(shí)間段的網(wǎng)頁行為數(shù)據(jù)，根據(jù)所述目標(biāo)時(shí)間段的網(wǎng)頁行為數(shù)據(jù)計(jì)算得到目標(biāo)數(shù)據(jù)增長(zhǎng)率，比較所述目標(biāo)數(shù)據(jù)增長(zhǎng)率和所述歷史數(shù)據(jù)增長(zhǎng)率；

當(dāng)所述目標(biāo)數(shù)據(jù)增長(zhǎng)率超過所述歷史數(shù)據(jù)增長(zhǎng)率時(shí)，所述目標(biāo)時(shí)間段的網(wǎng)頁行為數(shù)據(jù)為異常行為數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述爬蟲網(wǎng)頁行為數(shù)據(jù)和所述網(wǎng)頁行為數(shù)據(jù)得到目標(biāo)網(wǎng)頁行為數(shù)據(jù)之后，還包括：

將所述爬蟲標(biāo)識(shí)和所述爬蟲標(biāo)識(shí)對(duì)應(yīng)的網(wǎng)頁訪問數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)到預(yù)設(shè)黑名單數(shù)據(jù)庫；

則在所述當(dāng)所述網(wǎng)頁行為數(shù)據(jù)存在異常行為數(shù)據(jù)時(shí)，獲取所述異常行為數(shù)據(jù)對(duì)應(yīng)的網(wǎng)頁訪問數(shù)據(jù)之后，還包括：

獲取所述網(wǎng)頁訪問數(shù)據(jù)中的訪問標(biāo)識(shí)，在所述預(yù)設(shè)黑名單數(shù)據(jù)庫中查找所述訪問標(biāo)識(shí)；

當(dāng)所述預(yù)設(shè)黑名單數(shù)據(jù)庫中存在所述訪問標(biāo)識(shí)時(shí)，根據(jù)所述訪問標(biāo)識(shí)從所述網(wǎng)頁行為數(shù)據(jù)中得到對(duì)應(yīng)的爬蟲網(wǎng)頁行為數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述已訓(xùn)練的爬蟲識(shí)別模型的生成步驟，包括：

獲取歷史爬蟲訪問數(shù)據(jù)和歷史目標(biāo)訪問數(shù)據(jù)，根據(jù)所述歷史爬蟲訪問數(shù)據(jù)提取到歷史爬蟲訪問特征和歷史爬蟲標(biāo)簽，根據(jù)所述歷史目標(biāo)訪問數(shù)據(jù)提取到歷史目標(biāo)訪問特征和歷史目標(biāo)標(biāo)簽；

將所述歷史爬蟲訪問特征和歷史目標(biāo)訪問特征作為循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入，將所述歷史爬蟲標(biāo)簽和所述歷史目標(biāo)標(biāo)簽作為所述循環(huán)神經(jīng)網(wǎng)絡(luò)的標(biāo)簽進(jìn)行訓(xùn)練，當(dāng)達(dá)到預(yù)設(shè)條件時(shí)，得到所述已訓(xùn)練的爬蟲識(shí)別模型。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述爬蟲網(wǎng)頁行為數(shù)據(jù)和所述網(wǎng)頁行為數(shù)據(jù)得到目標(biāo)網(wǎng)頁行為數(shù)據(jù)之后，還包括：

根據(jù)所述爬蟲網(wǎng)頁行為數(shù)據(jù)和所述目標(biāo)網(wǎng)頁行為數(shù)據(jù)得到爬蟲點(diǎn)擊行為坐標(biāo)點(diǎn)和目標(biāo)點(diǎn)擊行為坐標(biāo)點(diǎn)；

根據(jù)所述爬蟲點(diǎn)擊行為坐標(biāo)點(diǎn)和所述目標(biāo)點(diǎn)擊行為坐標(biāo)點(diǎn)生成網(wǎng)頁點(diǎn)擊行為展示圖，將所述網(wǎng)頁行為展示圖發(fā)送到管理終端進(jìn)行展示。