[發(fā)明專利]一種冗余頁(yè)面的發(fā)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710854632.8
• 申請(qǐng)日: 2017-09-20
• 公開(kāi)（公告）號(hào): CN107729395B
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 陳剛;范淵;黃進(jìn)
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/957
• 分類號(hào): G06F16/957
• 代理公司: 杭州中成專利事務(wù)所有限公司 33212
• 代理人: 周世駿

本發(fā)明涉及網(wǎng)頁(yè)搜索引擎技術(shù)領(lǐng)域以及網(wǎng)頁(yè)漏洞檢測(cè)領(lǐng)域，旨在提供一種冗余頁(yè)面的發(fā)現(xiàn)方法。該種冗余頁(yè)面的發(fā)現(xiàn)方法包括：探測(cè)頁(yè)面收集階段、探測(cè)頁(yè)面處理階段、目標(biāo)頁(yè)面處理階段、目標(biāo)頁(yè)面識(shí)別階段。本發(fā)明通過(guò)同類型頁(yè)面的相似度比較，為了避免服務(wù)器對(duì)不同類型頁(yè)面做不同處理導(dǎo)致判斷出錯(cuò)，先通過(guò)發(fā)送該類型確定不存在的頁(yè)面獲取服務(wù)器對(duì)該類型冗余頁(yè)面處理結(jié)果，基于此信息來(lái)判斷目標(biāo)頁(yè)面是否為冗余頁(yè)面，彌補(bǔ)了業(yè)內(nèi)對(duì)該種頁(yè)面無(wú)法識(shí)別的痛點(diǎn)，通過(guò)類型判斷可以更為精準(zhǔn)的來(lái)判斷是否是冗余頁(yè)面，避免了服務(wù)器對(duì)不同類型不同處理導(dǎo)致的判斷失敗。

技術(shù)領(lǐng)域

本發(fā)明是關(guān)于網(wǎng)頁(yè)搜索引擎技術(shù)領(lǐng)域以及網(wǎng)頁(yè)漏洞檢測(cè)領(lǐng)域，特別涉及一種冗余頁(yè)面的發(fā)現(xiàn)方法。

背景技術(shù)

網(wǎng)站技術(shù)日新月異，為了追求用戶體驗(yàn)，很多網(wǎng)站將一些原本應(yīng)該返回錯(cuò)誤代碼的冗余頁(yè)面，通過(guò)一系列的處理，返回了正常頁(yè)面的代碼，這樣會(huì)造成一系列自動(dòng)化工具的困擾。

例如：

1、搜索引擎會(huì)將這種頁(yè)面收錄，給用戶查詢資料造成了困擾。

2、網(wǎng)站漏洞檢測(cè)，會(huì)認(rèn)為這是一個(gè)有效的頁(yè)面，從而進(jìn)行不必要的測(cè)試，浪費(fèi)了時(shí)間。

現(xiàn)有的很多技術(shù)都是通過(guò)返回碼來(lái)判斷是否是冗余頁(yè)面，如果一個(gè)冗余頁(yè)面按照正常的返回碼則會(huì)對(duì)自動(dòng)化的東西造成困擾。而且冗余頁(yè)面多種多樣，市面上并沒(méi)有很好的解決方案。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)中的不足，提供一種能夠智能識(shí)別冗余頁(yè)面的方法。為解決上述技術(shù)問(wèn)題，本發(fā)明的解決方案是：

提供一種冗余頁(yè)面的發(fā)現(xiàn)方法，用于判斷網(wǎng)站的目標(biāo)頁(yè)面是否為冗余頁(yè)面，所述冗余頁(yè)面的發(fā)現(xiàn)方法包括探測(cè)頁(yè)面收集階段、探測(cè)頁(yè)面處理階段、目標(biāo)頁(yè)面處理階段、目標(biāo)頁(yè)面識(shí)別階段；

所述探測(cè)頁(yè)面收集階段，用于收集網(wǎng)站冗余頁(yè)面：通過(guò)對(duì)站點(diǎn)發(fā)送不同頁(yè)面類型的確定不存在的頁(yè)面(即對(duì)站點(diǎn)發(fā)送確定不存在的頁(yè)面，且為不同類型的頁(yè)面，例如html、asp、jsp、jpg、png、css、js等之類的網(wǎng)頁(yè)常見(jiàn)類型)，收集網(wǎng)站對(duì)不同類型不存在頁(yè)面的處理回應(yīng)，以及對(duì)該不存在頁(yè)面返回的HTTP返回碼；

所述探測(cè)頁(yè)面處理階段，用于對(duì)探測(cè)頁(yè)面收集階段返回的結(jié)果做處理：將探測(cè)頁(yè)面收集階段收集的網(wǎng)站冗余頁(yè)面(即探測(cè)頁(yè)面收集階段對(duì)站點(diǎn)發(fā)送不同頁(yè)面類型的確定不存在的頁(yè)面)進(jìn)行降維處理(例如特征提取，將網(wǎng)頁(yè)信息降維成特征；例如網(wǎng)頁(yè)結(jié)構(gòu)特征，網(wǎng)頁(yè)內(nèi)容特征)，求得特征值，并記錄下HTTP返回碼；

所述目標(biāo)頁(yè)面處理階段，對(duì)目標(biāo)頁(yè)面做特征提取處理，求得特征值(該目標(biāo)網(wǎng)頁(yè)的特征值，和探測(cè)頁(yè)面處理階段對(duì)網(wǎng)站冗余頁(yè)面相同的特征值求取方式相同)，將目標(biāo)頁(yè)面的HTTP返回碼與目標(biāo)頁(yè)面計(jì)算所得的特征值保存下來(lái)；

所述目標(biāo)頁(yè)面識(shí)別階段，用于將目標(biāo)頁(yè)面與和其頁(yè)面類型相同的網(wǎng)站冗余頁(yè)面做識(shí)別對(duì)比(例如目標(biāo)頁(yè)面為js類型的頁(yè)面，則取探測(cè)頁(yè)面處理階段中獲得的不存在的js類型頁(yè)面的特征值與HTTP返回碼)：先比較目標(biāo)頁(yè)面和該網(wǎng)站冗余頁(yè)面的HTTP返回碼是否一致，若HTTP返回碼一致，則將目標(biāo)頁(yè)面的特征值與該網(wǎng)站冗余頁(yè)面的特征值做相似度匹配，若相似(即相似度超過(guò)預(yù)設(shè)的閾值)，則判斷該目標(biāo)頁(yè)面為冗余頁(yè)面。

在本發(fā)明中，所述探測(cè)頁(yè)面收集階段采用HTTP發(fā)送庫(kù)實(shí)現(xiàn)，且不限該HTTP發(fā)送庫(kù)的實(shí)現(xiàn)語(yǔ)言。

在本發(fā)明中，所述探測(cè)頁(yè)面處理階段中的特征值，通過(guò)下述任意一種計(jì)算方式獲得：

1)通過(guò)simhash計(jì)算頁(yè)面的特征值；

2)通過(guò)詞頻來(lái)算特征值；

3)對(duì)頁(yè)面做降維處理形成特征值；

4)通過(guò)局部敏感hash求得特征值。