[發明專利]用戶自由點選配置的網頁數據采集方法及系統

在審

• 申請號: 201711033606.5
• 申請日: 2017-10-30
• 公開（公告）號: CN107798101A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 鄧健爽;李俊立
• 申請（專利權）人: 廣州市勤思網絡科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 佛山幫專知識產權代理事務所(普通合伙)44387
• 代理人: 顏春艷

1.一種用戶自由點選配置的網頁數據采集方法，其特征在于，該方法包括：

接收用戶輸入的預設網址，根據所述預設網址對與該預設網址對應的第一網頁進行分析處理，以將所述第一網頁轉換為第二網頁；其中所述第一網頁包括非結構化數據，所述第二網頁包括轉換后的結構化數據；

根據所述第二網頁分析整理網頁數據，并將整理得到的網頁數據顯示于預設用戶界面上；

接收對所述預設用戶界面上的網頁數據的抓取選擇操作，并對被選的網頁數據進行自動化采集。

2.根據權利要求1所述采集方法，其特征在于，所述根據所述預設網址對與該預設網址對應的第一網頁進行分析處理，以將所述第一網頁轉換為第二網頁的步驟，包括：

根據所述預設網址獲取所述第一網頁，對所述第一網頁進行網頁模型構建；

根據構建的網頁模型對所述第一網頁進行分析以將所述第一網頁轉換為所述第二網頁。

3.根據權利要求2所述采集方法，其特征在于，基于所述網頁模型由后臺采集引擎智能分析所述第一網頁，以去除所述第一網頁中無關的預設非結構化數據，進而將所述第一網頁轉換為結構化數據的所述第二網頁。

4.根據權利要求1～3任一項所述采集方法，其特征在于，所述對被選的網頁數據進行自動化采集的步驟，包括：

通過構建數據采集任務在后臺實現自動化采集被選的網頁數據，并實時將采集的網頁數據推送給用戶。

5.根據權利要求4所述采集方法，其特征在于，所述預設用戶界面包括多個用于點選的預設控件，所述網頁數據包括多個不同類別的數據，且每個所述預設控件關聯一個類別的數據；所述接收對所述預設用戶界面上的網頁數據的抓取選擇操作的步驟，包括：

接收對所述預設用戶界面上的所述預設控件的觸控操作，以將與該預設控件關聯的網頁數據確定為所述被選的網頁數據。

6.一種用戶自由點選配置的網頁數據采集系統，其特征在于，該系統包括：

數據分析轉換模塊，用于接收用戶輸入的預設網址，根據所述預設網址對與該預設網址對應的第一網頁進行分析處理，以將所述第一網頁轉換為第二網頁；其中所述第一網頁包括非結構化數據，所述第二網頁包括轉換后的結構化數據；

數據整理顯示模塊，用于根據所述第二網頁分析整理網頁數據，并將整理得到的網頁數據顯示于預設用戶界面上；

數據選取采集模塊，用于接收對所述預設用戶界面上的網頁數據的抓取選擇操作，并對被選的網頁數據進行自動化采集。

7.根據權利要求6所述采集系統，其特征在于，所述數據分析轉換模塊，具體用于：

根據所述預設網址獲取所述第一網頁，對所述第一網頁進行網頁模型構建；

根據構建的網頁模型對所述第一網頁進行分析以將所述第一網頁轉換為所述第二網頁。

8.根據權利要求7所述采集系統，其特征在于，所述數據分析轉換模塊，具體用于：基于所述網頁模型由后臺采集引擎智能分析所述第一網頁，以去除所述第一網頁中無關的預設非結構化數據，進而將所述第一網頁轉換為結構化數據的所述第二網頁。

9.根據權利要求6～8任一項所述采集系統，其特征在于，所述數據選取采集模塊，具體用于通過構建數據采集任務在后臺實現自動化采集被選的網頁數據，并實時將采集的網頁數據推送給用戶。

10.根據權利要求9所述采集系統，其特征在于，所述預設用戶界面包括多個用于點選的預設控件，所述網頁數據包括多個不同類別的數據，且每個所述預設控件關聯一個類別的數據；

所述數據選取采集模塊，用于接收對所述預設用戶界面上的所述預設控件的觸控操作，以將與該預設控件關聯的網頁數據確定為所述被選的網頁數據。