[發(fā)明專(zhuān)利]一站式網(wǎng)絡(luò)購(gòu)物引導(dǎo)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910319459.0
• 申請(qǐng)日: 2019-04-19
• 公開(kāi)（公告）號(hào): CN110189189A
• 公開(kāi)（公告）日: 2019-08-30
• 發(fā)明（設(shè)計(jì)）人: 侯麗;談卓卓
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06Q30/06
• 分類(lèi)號(hào): G06Q30/06;G06F16/951
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

本申請(qǐng)涉及一種一站式網(wǎng)絡(luò)購(gòu)物引導(dǎo)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，方法包括：響應(yīng)于在預(yù)設(shè)頁(yè)面上對(duì)一商品的比價(jià)操作，獲取商品的屬性信息；在預(yù)先構(gòu)建的第一數(shù)據(jù)庫(kù)中查找與屬性信息相匹配的商品數(shù)據(jù)；提取并展示每一條與屬性信息相匹配的商品數(shù)據(jù)中的購(gòu)物平臺(tái)和商品在該購(gòu)物平臺(tái)上的價(jià)格；其中，第一數(shù)據(jù)庫(kù)的預(yù)先構(gòu)建過(guò)程包括：對(duì)預(yù)設(shè)的多個(gè)購(gòu)物平臺(tái)分別采用預(yù)先配置的對(duì)應(yīng)的網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)進(jìn)行全量爬取，得到多條商品數(shù)據(jù)，將多條商品數(shù)據(jù)存儲(chǔ)至第一數(shù)據(jù)庫(kù)中；采用增量式網(wǎng)絡(luò)爬蟲(chóng)對(duì)多個(gè)購(gòu)物平臺(tái)分別進(jìn)行增量爬取，以對(duì)第一數(shù)據(jù)庫(kù)中的商品數(shù)據(jù)進(jìn)行更新。本申請(qǐng)可以節(jié)省時(shí)間和人力。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種一站式網(wǎng)絡(luò)購(gòu)物引導(dǎo)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，網(wǎng)絡(luò)購(gòu)物平臺(tái)有很多，同樣的產(chǎn)品在不同的網(wǎng)絡(luò)購(gòu)物平臺(tái)上的價(jià)格也略有差別，用戶(hù)想找到價(jià)格比較低的心儀產(chǎn)品需要登陸很多網(wǎng)絡(luò)購(gòu)物平臺(tái)進(jìn)行比價(jià)，耗時(shí)耗力。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種一站式網(wǎng)絡(luò)購(gòu)物引導(dǎo)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，可以節(jié)省時(shí)間和人力，提高購(gòu)物效率。

本申請(qǐng)實(shí)施例提供一種一站式網(wǎng)絡(luò)購(gòu)物引導(dǎo)方法，所述方法包括：

響應(yīng)于在預(yù)設(shè)頁(yè)面上對(duì)一商品的比價(jià)操作，獲取所述商品的屬性信息；

在預(yù)先構(gòu)建的第一數(shù)據(jù)庫(kù)中查找與所述屬性信息相匹配的商品數(shù)據(jù)；

提取并展示每一條與所述屬性信息相匹配的商品數(shù)據(jù)中的購(gòu)物平臺(tái)和所述商品在該購(gòu)物平臺(tái)上的價(jià)格；

其中，所述第一數(shù)據(jù)庫(kù)的預(yù)先構(gòu)建過(guò)程包括：

對(duì)預(yù)設(shè)的多個(gè)購(gòu)物平臺(tái)分別采用預(yù)先配置的對(duì)應(yīng)的網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)進(jìn)行全量爬取，得到多條商品數(shù)據(jù)，將所述多條商品數(shù)據(jù)存儲(chǔ)至第一數(shù)據(jù)庫(kù)中；其中，所述網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)與購(gòu)物平臺(tái)一一對(duì)應(yīng)，每一條商品數(shù)據(jù)至少包括對(duì)應(yīng)商品的所在購(gòu)物平臺(tái)、對(duì)應(yīng)商品的屬性信息以及對(duì)應(yīng)商品在所述所在購(gòu)物平臺(tái)上的價(jià)格；采用增量式網(wǎng)絡(luò)爬蟲(chóng)對(duì)所述多個(gè)購(gòu)物平臺(tái)分別進(jìn)行增量爬取，以對(duì)所述第一數(shù)據(jù)庫(kù)中的商品數(shù)據(jù)進(jìn)行更新；

其中，預(yù)設(shè)的每一購(gòu)物平臺(tái)所對(duì)應(yīng)的網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)的預(yù)先配置過(guò)程包括：根據(jù)爬取要求，從預(yù)先構(gòu)建的第二數(shù)據(jù)庫(kù)中選擇所需的代碼塊；并根據(jù)選擇出的各個(gè)代碼塊的執(zhí)行順序，對(duì)選擇出的各個(gè)代碼塊進(jìn)行排序，得到對(duì)應(yīng)的代碼塊序列；根據(jù)所述代碼塊序列，對(duì)該購(gòu)物平臺(tái)對(duì)應(yīng)的網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)進(jìn)行配置；其中，所述第二數(shù)據(jù)庫(kù)中包括多個(gè)代碼塊；所述第二數(shù)據(jù)庫(kù)的預(yù)先構(gòu)建過(guò)程包括：對(duì)預(yù)設(shè)的多個(gè)購(gòu)物平臺(tái)分別進(jìn)行數(shù)據(jù)爬取，并將數(shù)據(jù)爬取過(guò)程中的每一個(gè)爬取步驟所對(duì)應(yīng)的計(jì)算機(jī)代碼作為一個(gè)代碼塊。

在一些實(shí)施例中，所述根據(jù)所述代碼塊序列，對(duì)該購(gòu)物平臺(tái)對(duì)應(yīng)的網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)進(jìn)行配置，包括：根據(jù)所述代碼塊序列和預(yù)設(shè)的說(shuō)明文檔，確定該購(gòu)物平臺(tái)對(duì)應(yīng)的網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)的配置文件；其中，所述說(shuō)明文檔中存儲(chǔ)有用于生成所述配置文件的說(shuō)明信息。

在一些實(shí)施例中，所述預(yù)設(shè)的多個(gè)購(gòu)物平臺(tái)分別進(jìn)行數(shù)據(jù)爬取，包括：對(duì)所述預(yù)設(shè)的多個(gè)購(gòu)物平臺(tái)分別編寫(xiě)對(duì)應(yīng)的所述計(jì)算機(jī)代碼，并采用每一購(gòu)物平臺(tái)對(duì)應(yīng)的所述計(jì)算機(jī)代碼對(duì)該網(wǎng)站進(jìn)行數(shù)據(jù)爬取。

在一些實(shí)施例中，所述采用增量式網(wǎng)絡(luò)爬蟲(chóng)對(duì)所述多個(gè)購(gòu)物平臺(tái)分別進(jìn)行增量爬取，包括：采用所述增量式網(wǎng)絡(luò)爬蟲(chóng)以預(yù)設(shè)相同頻率對(duì)本地頁(yè)面集中的各個(gè)頁(yè)面進(jìn)行增量爬取；或者，采用所述增量式網(wǎng)絡(luò)爬蟲(chóng)根據(jù)本地頁(yè)面集中的各個(gè)頁(yè)面各自的改變頻率分別對(duì)各個(gè)頁(yè)面進(jìn)行增量爬取；或者，采用所述增量式網(wǎng)絡(luò)爬蟲(chóng)以預(yù)設(shè)的第一頻率對(duì)第一頁(yè)面子集進(jìn)行增量爬取，且以預(yù)設(shè)的第二頻率對(duì)第二頁(yè)面子集進(jìn)行增量爬取；其中，所述第一頻率高于所述第二頻率；所述本地頁(yè)面集為各個(gè)網(wǎng)絡(luò)開(kāi)源爬蟲(chóng)在所述多個(gè)購(gòu)物平臺(tái)上訪問(wèn)過(guò)的頁(yè)面的集合；所述第一頁(yè)面子集和所述第二頁(yè)面子集為根據(jù)頁(yè)面的改變頻率對(duì)所述本地頁(yè)面集進(jìn)行劃分而得到的兩個(gè)子集，所述第一頁(yè)面子集中任意一頁(yè)面的改變頻率高于所述第二頁(yè)面子集中任意一頁(yè)面的改變頻率。