[發明專利]數據采集的方法、裝置、計算機設備以及存儲介質

有效

• 申請號: 202010026613.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111274217B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 謝濱澤;肖樹德;申志彬
• 申請（專利權）人: 深圳前海環融聯易信息科技服務有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/23;G06F16/25
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 羅瑞鋒

1.一種數據采集的方法，應用于網站數據采集，其特征在于，包括以下步驟：

若接收到對企業進行數據采集的請求，根據所述請求獲取相應的企業信息；

判斷所述企業信息是否存在于預設的企業信息表中；

若所述企業信息存在于所述企業信息表中，判斷首行首個字符的信息是否為空；

若所述首行首個字符的信息為空，根據所述企業信息對所述企業進行數據采集；

若所述首行首個字符的信息不為空，根據日志表以及所述企業信息對所述企業進行數據采集并更新所述企業信息表中的尾行最后一個字符的信息和所述日志表；其中所述日志表用于記錄所述企業進行數據采集；

若所述企業信息不存在于預設的企業信息表中，將所述企業信息插入至所述企業信息表中并對所述企業進行數據采集，同時將數據采集的記錄保存至所述日志表中。

2.根據權利要求1所述的數據采集的方法，其特征在于，所述根據所述日志表以及所述企業信息對所述企業進行數據采集并更新所述企業信息表中的尾行最后一個字符的信息和所述日志表，包括：

判斷所述日志表中是否包含所述企業進行數據采集的記錄；

若所述日志表中不包含所述企業進行數據采集的記錄，根據所述企業信息對所述企業進行數據采集并更新所述尾行最后一個字符的信息和所述日志表；

若所述日志表中包含所述企業進行數據采集的記錄，根據所述日志表中的標識對所述企業進行數據采集并更新所述尾行最后一個字符的信息和所述日志表。

3.根據權利要求2所述的數據采集的方法，其特征在于，所述根據所述企業信息和所述日志表中的標識對所述企業進行數據采集并更新所述尾行最后一個字符的信息和所述日志表，包括：

根據預設的識別規則對所述日志表中的標識進行識別以得到所述標識的信息；

若所述標識的信息為已經采集，根據所述日志表中的最后采集時間的信息對所述企業進行數據采集并更新所述尾行最后一個字符的信息和所述日志表；

若所述標識的信息為正在采集，更新所述尾行最后一個字符的信息和所述日志表。

4.根據權利要求1所述的數據采集的方法，其特征在于，所述若所述首行首個字符的信息為空，根據所述企業信息對所述企業進行數據采集之后，還包括：

更新所述企業信息表中的尾行最后一個字符和首行首個字符的信息并將所述企業進行數據采集的記錄保存至所述日志表中。

5.一種數據采集的裝置，其特征在于，包括：

獲取單元，用于若接收到對企業進行數據采集的請求，根據所述請求獲取相應的企業信息；

第一判斷單元，用于判斷所述企業信息是否存在于預設的企業信息表中；

第二判斷單元，用于判斷首行首個字符的信息是否為空；

第三采集單元，用于若所述首行首個字符的信息為空，根據所述企業信息對所述企業進行數據采集；

第四采集單元，用于若所述首行首個字符的信息不為空，根據日志表以及所述企業信息對所述企業進行數據采集并更新所述企業信息表中的尾行最后一個字符的信息和所述日志表；

第二采集單元，用于若所述企業信息不存在于預設的企業信息表中，將所述企業信息插入至所述企業信息表中并對所述企業進行數據采集，同時將數據采集的記錄保存至所述日志表中。

6.根據權利要求5所述的數據采集的裝置，其特征在于，所述第四采集單元包括：

第三判斷單元，用于判斷所述日志表中是否包含所述企業進行數據采集的記錄；

第五采集單元，用于若所述日志表中不包含所述企業進行數據采集的記錄，根據所述企業信息對所述企業進行數據采集并更新所述尾行最后一個字符的信息和所述日志表；

第六采集單元，用于若所述日志表中包含所述企業進行數據采集的記錄，根據所述企業信息和所述日志表中的標識對所述企業進行數據采集并更新所述尾行最后一個字符的信息和所述日志表。

7.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至4中任一項所述的數據采集的方法。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時使所述處理器執行如權利要求1至4任一項所述的數據采集的方法。