[發明專利]一種數據處理方法和裝置

在審

• 申請號: 201710134937.1
• 申請日: 2017-03-08
• 公開（公告）號: CN106991131A
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 李哲君;衛華飛;趙平西
• 申請（專利權）人: 陜西識代運籌信息科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京眾達德權知識產權代理有限公司11570
• 代理人: 劉杰

技術領域

本發明涉及信息獲取技術領域，尤其涉及一種數據處理方法和裝置。

背景技術

隨著web網頁數量的快速增長，為了使用戶能夠快速準確的獲得自己感興趣的信息，通常會先對這些頁面數據進行信息提取，進行網頁解析。

但是，本領域技術人員在日常工作中發現現有技術中存在如下不足：

現有技術中的網頁解析方法，在任務較多時，代碼復用率低；不同項目解析內容不同，當多人共同完成時，由于沒有固定的編碼規范，易造成代碼管理混亂；而且解析結果均為網頁上的原始值，大多不能直接使用。

發明內容

本發明實施例提供了一種數據處理方法和裝置，解決了現有技術中在任務較多時代碼復用率低，當多人共同完成時易造成代碼管理混亂，解析結果均為網頁上的原始值，大多不能直接使用的技術問題，具有提高代碼復用率，使代碼管理簡便，可得到能夠直接使用的數據，降低對解析工作人員的技術要求的技術效果。

本申請實施例提供一種數據處理方法，應用于對網頁的數據采集，所述方法包括：獲得第一網頁；根據所述第一網頁獲得所述第一網頁的對象；根據所述對象和所述第一網頁獲得所述第一網頁和所述對象之間的第一映射關系；獲得第二網頁，其中，所述第一網頁和所述第二網頁具有相同的屬性信息；根據所述第一映射關系獲得待獲取元素在所述第二網頁中的位置；根據所述第一映射關系獲得所述待獲取元素在所述位置的數據；判斷所述數據的數據類型；當所述數據類型是基本數據類型時，對所述數據進行標準化處理。

進一步地，所述方法還包括：將所述標準化處理后的數據存儲到數據庫中。

進一步地，所述對象還包括定位注解，所述根據所述第一映射關系獲得待獲取元素在所述第二網頁中的位置，具體為：根據定位注解獲得待獲取元素在所述第二網頁中的位置。

進一步地，所述對象還包括取值注解，所述根據所述第一映射關系獲得所述待獲取元素在所述位置的數據，具體為：通過調用取值注解獲得所述待獲取元素在所述位置的數據。

進一步地，所述方法還包括：當所述數據類型不是基本數據類型時，則獲得第三網頁，其中，所述第一網頁和所述第三網頁具有相同的屬性信息。

本申請實施例還提供一種數據處理裝置，所述裝置包括：第一獲得單元，所述第一獲得單元用于獲得第一網頁；第二獲得單元，所述第二獲得單元用于根據所述第一網頁獲得所述第一網頁的對象；第三獲得單元，所述第三獲得單元用于根據所述對象和所述第一網頁獲得所述第一網頁和所述對象之間的第一映射關系；第四獲得單元，所述第四獲得單元用于獲得第二網頁，其中，所述第一網頁和所述第二網頁具有相同的屬性信息；第五獲得單元，所述第五獲得單元用于根據所述第一映射關系獲得待獲取元素在所述第二網頁中的位置；第六獲得單元，所述第六獲得單元用于根據所述第一映射關系獲得所述待獲取元素在所述位置的數據；第一判斷單元，所述第一判斷單元用于判斷所述數據的數據類型；第一處理單元，所述第一處理單元用于當所述數據類型是基本數據類型時，對所述數據進行標準化處理。

進一步地，所述裝置還包括：第一存儲單元，所述第一存儲單元用于將所述標準化處理后的數據存儲到數據庫中。

進一步地，所述裝置還包括：第七獲得單元，所述第七獲得單元用于根據定位注解獲得待獲取元素在所述第二網頁中的位置。

進一步地，所述裝置還包括：第八獲得單元，所述第八獲得單元用于通過調用取值注解獲得所述待獲取元素在所述位置的數據。

進一步地，所述方法還包括：第九獲得單元，所述第九獲得單元用于當所述數據類型不是基本數據類型時，則獲得第三網頁，其中，所述第一網頁和所述第三網頁具有相同的屬性信息。

本申請實施例中的上述一個或多個技術方案，至少具有如下一種或多種技術效果：