[發明專利]一種數據采集方法、電子設備及存儲介質

在審

• 申請號: 202211408583.2
• 申請日: 2022-11-10
• 公開（公告）號: CN115455012A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 莊廣壬;王青霞;安通;陳建生;鄧超河
• 申請（專利權）人: 廣東廣宇科技發展有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 佛山市海融科創知識產權代理事務所(普通合伙) 44377
• 代理人: 陳志超

本申請涉及大數據技術領域，具體提供了一種數據采集方法、電子設備及存儲介質，該方法包括步驟：根據預設的入庫時間間隔周期性地采集源數據庫中的新增源數據集，新增源數據集包括多個具有采樣時間信息的新增源數據；根據入庫時間間隔的數量創建對應數量的臨時表；根據采樣時間信息所在的分布區間和預設的第一并發數量將新增源數據集中的新增源數據分別寫入對應的臨時表；根據新增源數據集的采集時間生成關于臨時表和預先創建的正式表的任務信息；根據任務信息將對應的臨時表中的所有新增源數據寫入對應的正式表，并在完成寫入后，刪除任務信息對應的臨時表；該方法能夠有效地提高數據采集的效率。

技術領域

本申請涉及大數據技術領域，具體而言，涉及一種數據采集方法、電子設備及存儲介質。

背景技術

現有的數據采集方法在采集數據時一次性將新增的源數據從源數據庫中寫入正式表中，當源數據庫中的新增源數據過大時，該方法會出現寫入速度降低、連接超時的問題，甚至可能出現卡死和內存溢出的情況。

針對上述問題，目前尚未有有效的技術解決方案。

發明內容

本申請的目的在于提供一種數據采集方法、電子設備及存儲介質，能夠有效地提高數據采集的效率。

第一方面，本申請提供了一種數據采集方法，用于生成目標數據庫，該方法包括步驟：

S1、根據預設的入庫時間間隔周期性地采集源數據庫中的新增源數據集，新增源數據集包括多個具有采樣時間信息的新增源數據；

S2、根據入庫時間間隔的數量創建對應數量的臨時表；

S3、根據采樣時間信息所在的分布區間和預設的第一并發數量將新增源數據集中的新增源數據分別寫入對應的臨時表，第一并發數量為同時寫入臨時表中的新增源數據的數量；

S4、根據新增源數據集的采集時間生成關于臨時表和預先創建的正式表的任務信息；

S5、根據任務信息將對應的臨時表中的所有新增源數據寫入對應的正式表，并在完成寫入后，刪除任務信息對應的臨時表。

本申請提供的一種數據采集方法，先根據入庫時間間隔周期性地采集源數據庫中的新增源數據集，再根據入庫時間間隔的數量創建對應數量臨時表，并根據采樣時間信息所在的分布區間和第一并發數量將新增源數據集中的新增源數據分別寫入對應的臨時表，最后根據任務信息將臨時表中的所有新增源數據寫入對應的正式表，并在完成寫入后刪除任務信息對應的臨時表，由于該方法周期性地采集新增源數據集，該方法的新增源數據集中的新增源數據的數量遠小于現有的數據采集方法在采集數據時的新增源數據的數量，且該方法通過并發寫入的方式將新增源數據集中的新增源數據寫入對應的臨時表，再以臨時表作為數據采集中介，將臨時表中的新增源數據寫入對應的正式表中，因此該方法能夠有效地避免出現由于采集數據時新增源數據的數量過大而寫入速度降低、連接超時的問題，從而有效地提高數據采集的效率。

可選地，步驟S1包括：

S11、周期性地獲取最后采集時間和當前時間的差值；

S12、若差值大于等于預設的入庫時間間隔，采集源數據庫中的新增源數據集，并將當前時間設為新的最后采集時間。

可選地，任務信息包括目標臨時表名、與目標臨時表名對應的目標正式表名及任務狀態信息，步驟S5包括以下步驟：

S51、根據目標臨時表名將對應的臨時表中的新增源數據寫入至目標正式表名對應的正式表中，并根據寫入進程更新任務狀態信息；

S52、在任務狀態信息標識寫入完成時，刪除目標臨時表名對應的臨時表。

可選地，任務狀態信息為0時標識未開始將對應的臨時表中的新增源數據寫入至目標正式表名對應的正式表中，任務狀態信息為1時標識正在將對應的臨時表中的新增源數據寫入至目標正式表名對應的正式表中，任務狀態信息為2時標識完成將對應的臨時表中的新增源數據寫入至目標正式表名對應的正式表中。

可選地，步驟S51包括以下步驟：