[發(fā)明專利]快速驗(yàn)證CSS選擇器的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710734682.2
• 申請(qǐng)日: 2017-08-24
• 公開(kāi)（公告）號(hào): CN107463713A
• 公開(kāi)（公告）日: 2017-12-12
• 發(fā)明（設(shè)計(jì)）人: 張超
• 申請(qǐng)（專利權(quán)）人: 四川長(zhǎng)虹電器股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 成都虹橋?qū)＠聞?wù)所(普通合伙)51124
• 代理人: 李凌峰

1.快速驗(yàn)證CSS選擇器的方法，其特征在于，包括以下步驟：

步驟1、從所需網(wǎng)頁(yè)獲取目標(biāo)網(wǎng)址和CSS選擇器并輸入目標(biāo)網(wǎng)址；

步驟2、通過(guò)HttpClient下載目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)源碼并解析；

步驟3、輸入CSS選擇器并對(duì)解析出的信息進(jìn)行抓取；

步驟4、判斷抓取的信息是否滿足需要，若滿足，則結(jié)束，若不滿足，則進(jìn)入步驟5；

步驟5、判斷抓取的信息是否為動(dòng)態(tài)加載信息，若是，則進(jìn)入步驟6，若不是，則進(jìn)入步驟3；

步驟6、調(diào)用瀏覽器內(nèi)核重新下載目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)源碼并解析；

步驟7、重新編寫(xiě)CSS選擇器，并輸入；

步驟8、利用重新編寫(xiě)的CSS選擇器對(duì)解析出的信息進(jìn)行抓取；

步驟9、判斷抓取的信息是否滿足需要，若滿足，則結(jié)束，若不滿足，則進(jìn)入步驟8。

2.根據(jù)權(quán)利要求1所述的快速驗(yàn)證CSS選擇器的方法，其特征在于，步驟1中，所述從所需網(wǎng)頁(yè)獲取目標(biāo)網(wǎng)址使用的是GetText()函數(shù)。

3.根據(jù)權(quán)利要求1所述的快速驗(yàn)證CSS選擇器的方法，其特征在于，步驟2中，所述通過(guò)HttpClient下載目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)源碼具體包括以下步驟：

步驟201、設(shè)定HttpCliet網(wǎng)絡(luò)連接參數(shù)；

步驟202、建立Http網(wǎng)絡(luò)連接；

步驟203、使用HttpClient的Get方法獲得目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)源碼。

4.根據(jù)權(quán)利要求3所述的快速驗(yàn)證CSS選擇器的方法，其特征在于，步驟201中，HttpCliet網(wǎng)絡(luò)連接參數(shù)的設(shè)定具體包括：

a、請(qǐng)求超時(shí)時(shí)間，默認(rèn)設(shè)置為2秒；

b、等待數(shù)據(jù)超時(shí)時(shí)間，默認(rèn)設(shè)置為2秒；

c、連接不夠用等待超時(shí)時(shí)間，默認(rèn)設(shè)置為500毫秒；

d、整個(gè)連接池最大連接數(shù)，默認(rèn)設(shè)置為200。

5.根據(jù)權(quán)利要求1所述的快速驗(yàn)證CSS選擇器的方法，其特征在于，步驟2及步驟6中，對(duì)目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)源碼的解析使用了Jsoup解析器。

6.根據(jù)權(quán)利要求1所述的快速驗(yàn)證CSS選擇器的方法，其特征在于，步驟6中，使用Selenium Webdriver調(diào)用瀏覽器內(nèi)核。

7.根據(jù)權(quán)利要求1或6所述的快速驗(yàn)證CSS選擇器的方法，其特征在于，步驟6中，所述瀏覽器為型號(hào)為Chrome的瀏覽器。