[發明專利]數據采集的方法、裝置、計算機設備以及存儲介質

有效

• 申請號: 202010026613.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111274217B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 謝濱澤;肖樹德;申志彬
• 申請（專利權）人: 深圳前海環融聯易信息科技服務有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/23;G06F16/25
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 羅瑞鋒

本發明公開了一種數據采集的方法、裝置、計算機設備以及存儲介質，該方法包括：若接收到對企業進行數據采集的請求，根據該請求獲取相應的企業信息；判斷該企業信息是否存在于預設的企業信息表中；若該企業信息存在于企業信息表中，根據企業信息表中的首次采集字段和預設的日志表對該企業進行數據采集；其中日志表用于記錄企業進行數據采集；若該企業信息不存在于預設的企業信息表中，將該企業信息插入至企業信息表中并對該企業進行數據采集，同時將數據采集的記錄保存至日志表中；上述方法通過在企業信息表中的每個企業信息中添加首次采集字段和最后采集字段以及通過日志表進行記錄，提高了數據采集的效率，避免在數據采集過程中重復采集。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據采集的方法、裝置、計算機設備以及存儲介質。

背景技術

當需要對某個企業有更多的了解時，可以根據該企業公開的大致信息進行了解，但是當需要對該企業有更加深入的了解時，則需要在不同網站采集數據。通常需要創建一個企業信息表以記錄在不同網站上進行數據采集的過程，從而確保每個網站中與該企業相關的信息進行完整的數據采集并且采集的數據不重復，但是隨著采集數據越來越多會使得該企業信息表不利于維護，從而導致后續繼續對企業進行數據采集時出現效率低下的問題。

發明內容

本發明實施例提供了一種數據采集的方法、裝置、計算機設備以及存儲介質，旨在解決現有技術方法中所存在的數據采集效率低的問題。

第一方面，本發明實施例提供了一種數據采集的方法，其包括：

若接收到對企業進行數據采集的請求，根據所述請求獲取相應的企業信息；

判斷所述企業信息是否存在于預設的企業信息表中；

若所述企業信息存在于所述企業信息表中，根據所述企業信息表中的首次采集字段和預設的日志表對所述企業進行數據采集；其中所述日志表用于記錄所述企業進行數據采集；

若所述企業信息不存在于預設的企業信息表中，將所述企業信息插入至所述企業信息表中并對所述企業進行數據采集，同時將數據采集的記錄保存至所述日志表中。

第二方面，本發明實施例提供了一種數據采集的裝置，其包括：

獲取單元，用于若接收到對企業進行數據采集的請求，根據所述請求獲取相應的企業信息；

第一判斷單元，用于判斷所述企業信息是否存在于預設的企業信息表中；

第一采集單元，用于若所述企業信息存在于所述企業信息表中，根據所述企業信息表中的首次采集字段和預設的日志表對所述企業進行數據采集；

第二采集單元，用于若所述企業信息不存在于預設的企業信息表中，將所述企業信息插入至所述企業信息表中并對所述企業進行數據采集，同時將數據采集的記錄保存至所述日志表中。

第三方面，本發明實施例又提供了一種計算機設備，其包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述第一方面所述的數據采集的方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其中所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時使所述處理器執行上述第一方面所述的數據采集的方法。