[發(fā)明專利]用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611243842.5
• 申請(qǐng)日: 2016-12-29
• 公開（公告）號(hào): CN106777281B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 張軍;賈西貝
• 申請(qǐng)（專利權(quán)）人: 深圳市華傲數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/955
• 代理公司: 北京酷愛智慧知識(shí)產(chǎn)權(quán)代理有限公司 11514
• 代理人: 任媛

本發(fā)明涉及一種用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法及裝置。本發(fā)明提供的方法，包括：步驟S1，根據(jù)事先指定的特征，判斷當(dāng)前頁面是否發(fā)生了局部結(jié)構(gòu)性變動(dòng)；步驟S2，若未發(fā)生結(jié)構(gòu)性變動(dòng)，則獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析所述當(dāng)前頁面中的內(nèi)容；步驟S3，根據(jù)預(yù)先配置的映射規(guī)則，對(duì)通過解析獲取的業(yè)務(wù)字段名做自適應(yīng)映射，并存儲(chǔ)到存儲(chǔ)區(qū)。本發(fā)明提供的用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法及裝置，可以自動(dòng)識(shí)別網(wǎng)頁頁面的非結(jié)構(gòu)性變化，并采用自適應(yīng)的數(shù)據(jù)抽取邏輯，無須頻繁維護(hù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的普及和發(fā)展，電子商務(wù)網(wǎng)站，門戶網(wǎng)站，博客，微博等各種類型的信息都發(fā)布在互聯(lián)網(wǎng)上，人們可以通過互聯(lián)網(wǎng)搜集海量資訊并進(jìn)行分析、統(tǒng)計(jì)，以獲取需要的信息。

現(xiàn)有的方法是采用網(wǎng)絡(luò)爬蟲技術(shù)獲取信息，除去圖片、視頻等二進(jìn)制內(nèi)容，網(wǎng)絡(luò)爬蟲一般獲取的是網(wǎng)頁文本內(nèi)容，傳統(tǒng)爬蟲使用正則表達(dá)式、xpath或者位置進(jìn)行信息的解析。

但存在的問題是，網(wǎng)頁是動(dòng)態(tài)變化的，比如：業(yè)務(wù)字段名/字段值的位置、html的標(biāo)簽id、xpath路徑可能隨時(shí)會(huì)發(fā)生變化。網(wǎng)頁的動(dòng)態(tài)特性決定了網(wǎng)絡(luò)爬蟲頻繁維護(hù)的特性，因此，現(xiàn)有的網(wǎng)絡(luò)爬蟲普適性差、維護(hù)成本很高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供的用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法及裝置，可以自動(dòng)識(shí)別網(wǎng)頁頁面的非結(jié)構(gòu)性變化，并采用自適應(yīng)的數(shù)據(jù)抽取邏輯，無須頻繁維護(hù)。

第一方面，本發(fā)明提供的一種用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法，包括：步驟S1，根據(jù)事先指定的特征，判斷當(dāng)前頁面是否發(fā)生了局部結(jié)構(gòu)性變動(dòng)；步驟S2，若未發(fā)生結(jié)構(gòu)性變動(dòng)，則獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析所述當(dāng)前頁面中的內(nèi)容；步驟S3，根據(jù)預(yù)先配置的映射規(guī)則，對(duì)通過解析獲取的業(yè)務(wù)字段名做自適應(yīng)映射，并存儲(chǔ)到存儲(chǔ)區(qū)。

本發(fā)明提供的用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理方法，可以自動(dòng)識(shí)別網(wǎng)頁頁面的非結(jié)構(gòu)性變化，并采用自適應(yīng)的數(shù)據(jù)抽取邏輯，無須頻繁維護(hù)，節(jié)約了成本，同時(shí)提高了網(wǎng)頁數(shù)據(jù)爬取的穩(wěn)定性，具備更好的普適性。

優(yōu)選地，所述步驟S1包括：逐一比對(duì)事先指定的特征和當(dāng)前頁面的對(duì)應(yīng)標(biāo)簽，若不一致，則認(rèn)為所述當(dāng)前頁面發(fā)生了局部結(jié)構(gòu)性變動(dòng)。

優(yōu)選地，所述步驟S2包括：獲取所述當(dāng)前頁面的HTML文件；從所述HTML文件抽取出Table標(biāo)簽中的內(nèi)容和div標(biāo)簽中的內(nèi)容；根據(jù)所述Table標(biāo)簽中的內(nèi)容獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析內(nèi)容；根據(jù)所述div標(biāo)簽中的內(nèi)容獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析內(nèi)容。

優(yōu)選地，所述根據(jù)所述Table標(biāo)簽中的內(nèi)容獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析內(nèi)容，包括：檢測(cè)所述Table標(biāo)簽中的標(biāo)題部分；抽取所述Table標(biāo)簽中除標(biāo)題部分的多維度信息；根據(jù)抽取的所述多維度信息判斷結(jié)構(gòu)布局；根據(jù)所述結(jié)構(gòu)布局獲取業(yè)務(wù)數(shù)據(jù)。

優(yōu)選地，所述根據(jù)所述div標(biāo)簽中的內(nèi)容獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析內(nèi)容，包括：從所述div標(biāo)簽中獲取與已知業(yè)務(wù)字段名匹配的label，并根據(jù)匹配到的label在div標(biāo)簽中的位置判斷結(jié)構(gòu)布局，根據(jù)結(jié)構(gòu)布局獲取業(yè)務(wù)數(shù)據(jù)。

第二方面，本發(fā)明提供的一種用于提高網(wǎng)絡(luò)爬蟲穩(wěn)定性、可用性的數(shù)據(jù)處理裝置，包括：結(jié)構(gòu)性變動(dòng)檢測(cè)模塊，用于根據(jù)事先指定的特征，判斷當(dāng)前頁面是否發(fā)生了局部結(jié)構(gòu)性變動(dòng)；解析模塊，用于若未發(fā)生結(jié)構(gòu)性變動(dòng)，則獲取所述當(dāng)前頁面的結(jié)構(gòu)布局，根據(jù)所述當(dāng)前頁面的結(jié)構(gòu)布局解析所述當(dāng)前頁面中的內(nèi)容；字段自適應(yīng)調(diào)整模塊，根據(jù)預(yù)先配置的映射規(guī)則，對(duì)通過解析獲取的業(yè)務(wù)字段名做自適應(yīng)映射，并存儲(chǔ)到存儲(chǔ)區(qū)。