[發(fā)明專利]網(wǎng)頁數(shù)據(jù)解析方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910042023.1
• 申請(qǐng)日: 2019-01-17
• 公開（公告）號(hào): CN109918428A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 檀傳華;冉夢(mèng)龍;孟文斌;李祖光;陳錦韜
• 申請(qǐng)（專利權(quán)）人: 重慶金融資產(chǎn)交易所有限責(zé)任公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/951
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種網(wǎng)頁數(shù)據(jù)解析方法，其特征在于，所述方法包括：

在進(jìn)行數(shù)據(jù)抓取時(shí)，針對(duì)需抓取的數(shù)據(jù)所在的網(wǎng)絡(luò)頁面，解析并獲取待抓取數(shù)據(jù)所在的頁面?zhèn)€數(shù)；

根據(jù)解析出的待抓取數(shù)據(jù)所在的頁面?zhèn)€數(shù)，利用與所述頁面?zhèn)€數(shù)相匹配的數(shù)據(jù)抓取方式進(jìn)行數(shù)據(jù)抓取，得到抓取的頁面數(shù)據(jù)；

針對(duì)抓取到的所述頁面數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，生成所需的結(jié)構(gòu)化數(shù)據(jù)并存儲(chǔ)。

2.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)解析方法，其特征在于，所述根據(jù)解析出的待抓取數(shù)據(jù)所在的頁面?zhèn)€數(shù)，利用與所述頁面?zhèn)€數(shù)相匹配的數(shù)據(jù)抓取方式進(jìn)行數(shù)據(jù)抓取，得到抓取的頁面數(shù)據(jù)，包括：

若待抓取數(shù)據(jù)在單個(gè)頁面中，則從所述單個(gè)頁面中提取對(duì)應(yīng)的HTML文件片段；

若待抓取數(shù)據(jù)在多個(gè)頁面中，則從所述待抓取數(shù)據(jù)對(duì)應(yīng)的多個(gè)頁面中提取對(duì)應(yīng)的頁面數(shù)據(jù)，并根據(jù)所述多個(gè)頁面間的數(shù)據(jù)關(guān)系，將提取的頁面數(shù)據(jù)生成對(duì)應(yīng)的數(shù)組。

3.如權(quán)利要求2所述的網(wǎng)頁數(shù)據(jù)解析方法，其特征在于，所述根據(jù)所述多個(gè)頁面間的數(shù)據(jù)關(guān)系，將提取的頁面數(shù)據(jù)生成對(duì)應(yīng)的數(shù)組，包括：

根據(jù)待抓取數(shù)據(jù)對(duì)應(yīng)的網(wǎng)絡(luò)頁面HTML結(jié)構(gòu)中的表標(biāo)簽，提取所述網(wǎng)絡(luò)頁面HTML結(jié)構(gòu)中的頁面數(shù)據(jù)，生成包含表的標(biāo)題和所述標(biāo)題對(duì)應(yīng)的明細(xì)數(shù)據(jù)的二維數(shù)組。

4.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)解析方法，其特征在于，所述針對(duì)抓取到的所述頁面數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，生成所需的結(jié)構(gòu)化數(shù)據(jù)并存儲(chǔ)，包括：

從抓取到的所述頁面數(shù)據(jù)中抽取出結(jié)構(gòu)化數(shù)據(jù)，得到抽取后余下的非結(jié)構(gòu)化數(shù)據(jù)；

針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，利用數(shù)據(jù)加工引擎，按照預(yù)設(shè)的配置文件，對(duì)所述非機(jī)構(gòu)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，生成所需的結(jié)構(gòu)化數(shù)據(jù)；

將抽取出的所述結(jié)構(gòu)化數(shù)據(jù)與生成的所述結(jié)構(gòu)化數(shù)據(jù)均保存至分布式存儲(chǔ)型數(shù)據(jù)庫中。

5.如權(quán)利要求1至4任一項(xiàng)所述的網(wǎng)頁數(shù)據(jù)解析方法，其特征在于，所述針對(duì)抓取到的所述頁面數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，生成所需的結(jié)構(gòu)化數(shù)據(jù)并存儲(chǔ)，之前還包括步驟：

對(duì)抓取到的所述頁面數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

6.一種網(wǎng)頁數(shù)據(jù)解析裝置，其特征在于，所述裝置包括存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有可在所述處理器上運(yùn)行的網(wǎng)頁數(shù)據(jù)解析程序，所述網(wǎng)頁數(shù)據(jù)解析程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如下步驟：

在進(jìn)行數(shù)據(jù)抓取時(shí)，針對(duì)需抓取的數(shù)據(jù)所在的網(wǎng)絡(luò)頁面，解析并獲取待抓取數(shù)據(jù)所在的頁面?zhèn)€數(shù)；

根據(jù)解析出的待抓取數(shù)據(jù)所在的頁面?zhèn)€數(shù)，利用與所述頁面?zhèn)€數(shù)相匹配的數(shù)據(jù)抓取方式進(jìn)行數(shù)據(jù)抓取，得到抓取的頁面數(shù)據(jù)；

針對(duì)抓取到的所述頁面數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，生成所需的結(jié)構(gòu)化數(shù)據(jù)并存儲(chǔ)。

7.如權(quán)利要求6所述的網(wǎng)頁數(shù)據(jù)解析裝置，其特征在于，所述網(wǎng)頁數(shù)據(jù)解析程序還可被所述處理器執(zhí)行，以在根據(jù)解析出的待抓取數(shù)據(jù)所在的頁面?zhèn)€數(shù)，利用與所述頁面?zhèn)€數(shù)相匹配的數(shù)據(jù)抓取方式進(jìn)行數(shù)據(jù)抓取，得到抓取的頁面數(shù)據(jù)，包括：

若待抓取數(shù)據(jù)在單個(gè)頁面中，則從所述單個(gè)頁面中提取對(duì)應(yīng)的HTML文件片段；

若待抓取數(shù)據(jù)在多個(gè)頁面中，則從所述待抓取數(shù)據(jù)對(duì)應(yīng)的多個(gè)頁面中提取對(duì)應(yīng)的頁面數(shù)據(jù)，并根據(jù)所述多個(gè)頁面間的數(shù)據(jù)關(guān)系，將提取的頁面數(shù)據(jù)生成對(duì)應(yīng)的數(shù)組。

8.如權(quán)利要求7所述的網(wǎng)頁數(shù)據(jù)解析裝置，其特征在于，所述網(wǎng)頁數(shù)據(jù)解析程序還可被所述處理器執(zhí)行，以在所述根據(jù)所述多個(gè)頁面間的數(shù)據(jù)關(guān)系，將提取的頁面數(shù)據(jù)生成對(duì)應(yīng)的數(shù)組，包括：

根據(jù)待抓取數(shù)據(jù)對(duì)應(yīng)的網(wǎng)絡(luò)頁面HTML結(jié)構(gòu)中的表標(biāo)簽，提取所述網(wǎng)絡(luò)頁面HTML結(jié)構(gòu)中的頁面數(shù)據(jù)，生成包含表的標(biāo)題和所述標(biāo)題對(duì)應(yīng)的明細(xì)數(shù)據(jù)的二維數(shù)組。