[發(fā)明專利]網(wǎng)絡(luò)信息獲取方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010784498.0
• 申請(qǐng)日: 2020-08-06
• 公開(kāi)（公告）號(hào): CN112131448A
• 公開(kāi)（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 楊碩;官延斌;王庚
• 申請(qǐng)（專利權(quán)）人: 億存（北京）信息科技有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/9535;G06F16/955;G06N3/04;G06N3/08;G06K9/46;G06K9/62;G06N20/10
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 白雪靜

1.一種網(wǎng)絡(luò)信息獲取方法，其特征在于，包括：

獲取目標(biāo)網(wǎng)頁(yè)的統(tǒng)一資源定位器URL，其中，所述目標(biāo)網(wǎng)頁(yè)為當(dāng)前需要進(jìn)行網(wǎng)絡(luò)信息采集的網(wǎng)頁(yè)；

根據(jù)所述URL，下載所述目標(biāo)網(wǎng)頁(yè)進(jìn)行緩存；

根據(jù)所述目標(biāo)網(wǎng)頁(yè)，生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的網(wǎng)頁(yè)圖片；

對(duì)所述網(wǎng)頁(yè)圖片進(jìn)行圖像識(shí)別，以獲取所述目標(biāo)網(wǎng)頁(yè)攜帶的頁(yè)面元素和所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述網(wǎng)頁(yè)圖片進(jìn)行圖像識(shí)別，以獲取所述目標(biāo)網(wǎng)頁(yè)攜帶的頁(yè)面元素和所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容，包括：

將所述網(wǎng)頁(yè)圖片輸入訓(xùn)練好的目標(biāo)機(jī)器學(xué)習(xí)模型中，由所述目標(biāo)機(jī)器學(xué)習(xí)模型對(duì)所述網(wǎng)頁(yè)圖片進(jìn)行圖像特征提取，并根據(jù)提取的所述圖像特征，獲取所述頁(yè)面元素和所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在獲取所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容后，還包括：

由所述目標(biāo)機(jī)器學(xué)習(xí)模型對(duì)所述頁(yè)面元素的內(nèi)容進(jìn)行關(guān)鍵詞提取，根據(jù)提取的所述關(guān)鍵詞進(jìn)行內(nèi)容類型識(shí)別，獲取所述頁(yè)面元素的內(nèi)容對(duì)應(yīng)的目標(biāo)類型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容后，還包括：

對(duì)所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容進(jìn)行敏感信息識(shí)別，對(duì)所述敏感信息進(jìn)行過(guò)濾。

5.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述獲取目標(biāo)網(wǎng)頁(yè)的統(tǒng)一資源定位器URL，包括：

從URL存儲(chǔ)單元中按序或隨機(jī)讀取所述URL，并將當(dāng)前讀取的所述URL所標(biāo)識(shí)的網(wǎng)頁(yè)作為所述目標(biāo)網(wǎng)頁(yè)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述URL存儲(chǔ)單元中緩存的所述URL采用如下方式獲取：

對(duì)所述目標(biāo)網(wǎng)頁(yè)所在網(wǎng)站的首個(gè)網(wǎng)頁(yè)進(jìn)行URL抓取，將抓取的所述URL緩存至所述URL存儲(chǔ)單元中；

每當(dāng)獲取到所述目標(biāo)網(wǎng)頁(yè)后，對(duì)所述目標(biāo)網(wǎng)頁(yè)繼續(xù)進(jìn)行URL爬取，以獲取所述目標(biāo)網(wǎng)頁(yè)所鏈接的下一個(gè)網(wǎng)頁(yè)的URL，并利用所述下一個(gè)網(wǎng)頁(yè)的URL更新所述URL存儲(chǔ)單元。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述利用所述下一個(gè)網(wǎng)頁(yè)的URL更新所述URL存儲(chǔ)單元，包括：

識(shí)別所述下一個(gè)網(wǎng)頁(yè)的URL與所述URL存儲(chǔ)單元已緩存的URL是否重復(fù)；

若所述下一個(gè)網(wǎng)頁(yè)的URL與所述URL存儲(chǔ)單元已緩存的URL未重復(fù)，則將所述下一個(gè)網(wǎng)頁(yè)的URL緩存至所述URL存儲(chǔ)單元，以更新所述URL存儲(chǔ)單元。

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

收集所述目標(biāo)機(jī)器學(xué)習(xí)模型識(shí)別失敗的所述目標(biāo)網(wǎng)頁(yè)的網(wǎng)頁(yè)圖片，作為訓(xùn)練網(wǎng)頁(yè)圖片；

對(duì)所述訓(xùn)練網(wǎng)頁(yè)圖片進(jìn)行標(biāo)記，利用標(biāo)記后的所述訓(xùn)練網(wǎng)頁(yè)圖片對(duì)所述目標(biāo)機(jī)器學(xué)習(xí)模型進(jìn)行優(yōu)化。

9.一種網(wǎng)絡(luò)信息獲取裝置，其特征在于，包括：

第一獲取模塊，用于獲取目標(biāo)網(wǎng)頁(yè)的統(tǒng)一資源定位器URL，其中，所述目標(biāo)網(wǎng)頁(yè)為當(dāng)前需要進(jìn)行網(wǎng)絡(luò)信息采集的網(wǎng)頁(yè)；

緩存模塊，用于根據(jù)所述URL，下載所述目標(biāo)網(wǎng)頁(yè)進(jìn)行緩存；

圖片生成模塊，用于根據(jù)所述目標(biāo)網(wǎng)頁(yè)，生成所述目標(biāo)網(wǎng)頁(yè)對(duì)應(yīng)的網(wǎng)頁(yè)圖片；

圖像識(shí)別模塊，用于對(duì)所述網(wǎng)頁(yè)圖片進(jìn)行圖像識(shí)別，以獲取所述目標(biāo)網(wǎng)頁(yè)攜帶的頁(yè)面元素和所述頁(yè)面元素對(duì)應(yīng)的內(nèi)容。

10.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)，實(shí)現(xiàn)如權(quán)利要求1-8中任一項(xiàng)所述的網(wǎng)絡(luò)信息獲取方法。

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8中任一項(xiàng)所述的網(wǎng)絡(luò)信息獲取方法。