[發(fā)明專利]一種數(shù)據(jù)處理裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201110289520.5
• 申請(qǐng)日: 2011-09-27
• 公開（公告）號(hào): CN103020088A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 譚耀華;阮威;鄧教武
• 申請(qǐng)（專利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11270
• 代理人: 蔣雅潔;遲姍

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種數(shù)據(jù)處理裝置及方法。

背景技術(shù)

由于網(wǎng)絡(luò)的廣泛應(yīng)用，常常需要通過(guò)網(wǎng)絡(luò)向用戶推送數(shù)據(jù)，尤其在電子商務(wù)網(wǎng)站。而通過(guò)網(wǎng)絡(luò)向用戶推送數(shù)據(jù)時(shí)，一般都是人工通過(guò)訪問(wèn)數(shù)據(jù)源網(wǎng)站，對(duì)數(shù)據(jù)源網(wǎng)站中推送的大量數(shù)據(jù)進(jìn)行篩選、分類等處理之后，再將數(shù)據(jù)進(jìn)行編輯后推送給用戶，如此，不僅造成了人力物力的浪費(fèi)，而且數(shù)據(jù)處理效率低下，且常會(huì)由于人為失誤造成數(shù)據(jù)處理的準(zhǔn)確率不高，從而導(dǎo)致數(shù)據(jù)推送的效率和準(zhǔn)確率也受到影響，并降低了用戶體驗(yàn)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)處理裝置及方法，以解決數(shù)據(jù)推送中數(shù)據(jù)處理效率低、浪費(fèi)人力物力、以及準(zhǔn)確率不高的問(wèn)題。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

數(shù)據(jù)抓取模塊，用于根據(jù)預(yù)先配置的抓取規(guī)則，進(jìn)行數(shù)據(jù)抓取；

數(shù)據(jù)處理模塊，用于根據(jù)預(yù)先配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則，對(duì)所述數(shù)據(jù)抓取模塊所抓取的數(shù)據(jù)進(jìn)行處理，得到符合所述數(shù)據(jù)轉(zhuǎn)換規(guī)則的標(biāo)準(zhǔn)數(shù)據(jù)。

在上述方案中，所述數(shù)據(jù)抓取模塊包括：配置單元和抓取單元，其中，

配置單元，用于配置包含有數(shù)據(jù)源信息和類型信息的抓取規(guī)則；

抓取單元，用于根據(jù)所述配置單元配置的數(shù)據(jù)源信息，找到數(shù)據(jù)源，并從所述數(shù)據(jù)源中抓取、類型信息與配置單元所配置的類型信息相一致的數(shù)據(jù)。

在上述方案中，所述配置單元包含有用于配置抓取規(guī)則的配置文件；

所述配置單元，具體用于通過(guò)在所述配置文件中寫入需抓取數(shù)據(jù)的數(shù)據(jù)源信息和類型信息并保存，完成抓取規(guī)則的配置；

抓取單元，還用于讀取所述配置單元中的配置文件，根據(jù)所述配置文件中數(shù)據(jù)源信息，找到數(shù)據(jù)源，從所述數(shù)據(jù)源中抓取類型信息與所述配置文件中的類型信息相一致的數(shù)據(jù)。

在上述方案中，所述數(shù)據(jù)源信息為數(shù)據(jù)源網(wǎng)站的URL；和/或，所述類型信息為數(shù)據(jù)的品類名稱。

在上述方案中，所述配置文件為xml格式的文件。

在上述方案中，所述數(shù)據(jù)處理模塊，還用于生成包含有所述標(biāo)準(zhǔn)數(shù)據(jù)的標(biāo)準(zhǔn)數(shù)據(jù)文本，并輸出該標(biāo)準(zhǔn)數(shù)據(jù)文本。

在上述方案中，所述標(biāo)準(zhǔn)數(shù)據(jù)文本為TXT文本。

本發(fā)明還提供了一種數(shù)據(jù)處理方法，所述方法包括：

根據(jù)預(yù)先配置的抓取規(guī)則，進(jìn)行數(shù)據(jù)抓取；

根據(jù)預(yù)先配置的數(shù)據(jù)轉(zhuǎn)換規(guī)則，對(duì)所抓取的數(shù)據(jù)進(jìn)行處理，得到符合所述數(shù)據(jù)轉(zhuǎn)換規(guī)則的標(biāo)準(zhǔn)數(shù)據(jù)。

在上述方案中，在進(jìn)行數(shù)據(jù)抓取之前，所述方法還包括：

配置包含有數(shù)據(jù)源信息和類型信息的抓取規(guī)則；

所述進(jìn)行數(shù)據(jù)抓取，為：根據(jù)所配置的數(shù)據(jù)源信息，找到數(shù)據(jù)源，并從所述數(shù)據(jù)源中抓取類型信息與所配置的類型信息相一致的數(shù)據(jù)。

在上述方案中，配置包含有數(shù)據(jù)源信息和類型信息的抓取規(guī)則，包括：在用于配置抓取規(guī)則的配置文件中寫入需抓取數(shù)據(jù)的數(shù)據(jù)源信息和需抓取數(shù)據(jù)的類型信息并保存；

所述進(jìn)行數(shù)據(jù)抓取，為：讀取所述配置文件，根據(jù)所述配置文件中數(shù)據(jù)源信息，找到數(shù)據(jù)源，從所述數(shù)據(jù)源中抓取類型信息與所述配置文件中的類型信息相一致的數(shù)據(jù)。

在上述方案中，所述得到符合所述數(shù)據(jù)轉(zhuǎn)換規(guī)則的標(biāo)準(zhǔn)數(shù)據(jù)之后，所述方法還包括：生成包含有所述標(biāo)準(zhǔn)數(shù)據(jù)的標(biāo)準(zhǔn)數(shù)據(jù)文本，并輸出該標(biāo)準(zhǔn)數(shù)據(jù)文本。

本發(fā)明提供的數(shù)據(jù)處理裝置及方法，根據(jù)預(yù)先配置的抓取規(guī)則進(jìn)行數(shù)據(jù)抓取，并對(duì)抓取的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，得到標(biāo)準(zhǔn)數(shù)據(jù)，能夠基于用戶的需求進(jìn)行數(shù)據(jù)的獲取和處理，不需要人工進(jìn)行數(shù)據(jù)篩選和處理，大大節(jié)省了人工篩選數(shù)據(jù)的時(shí)間成本，提高了工作效率，節(jié)省了人力物力，并且還提高了數(shù)據(jù)處理的準(zhǔn)確率。

附圖說(shuō)明

圖1為本發(fā)明數(shù)據(jù)處理裝置的組成結(jié)構(gòu)示意圖；

圖2為本發(fā)明數(shù)據(jù)處理方法的實(shí)現(xiàn)流程圖；

圖3為本發(fā)明實(shí)施例一中數(shù)據(jù)處理過(guò)程的流程示意圖；

圖4為本發(fā)明實(shí)施例一中數(shù)據(jù)處理軟件“設(shè)置”對(duì)話框示意圖；

圖5為本發(fā)明實(shí)施例一配置文件對(duì)話框示意圖；

圖6為本發(fā)明實(shí)施例一中“查看”對(duì)話框示意圖；

圖7為本發(fā)明實(shí)施例一中進(jìn)行字段名轉(zhuǎn)換的設(shè)置對(duì)話框示意圖；

圖8為本發(fā)明實(shí)施例一中執(zhí)行數(shù)據(jù)處理操作的對(duì)話框示意圖；

圖9為本發(fā)明實(shí)施例一中輸出標(biāo)準(zhǔn)數(shù)據(jù)文本的導(dǎo)出對(duì)話框示意圖。

具體實(shí)施方式