[發明專利]一種數據采集方法、電子設備及存儲介質

在審

• 申請號: 202211408583.2
• 申請日: 2022-11-10
• 公開（公告）號: CN115455012A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 莊廣壬;王青霞;安通;陳建生;鄧超河
• 申請（專利權）人: 廣東廣宇科技發展有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 佛山市海融科創知識產權代理事務所(普通合伙) 44377
• 代理人: 陳志超

1.一種數據采集方法，用于生成目標數據庫，其特征在于，所述數據采集方法包括步驟：

S1、根據預設的入庫時間間隔周期性地采集源數據庫中的新增源數據集，所述新增源數據集包括多個具有采樣時間信息的新增源數據；

S2、根據所述入庫時間間隔的數量創建對應數量的臨時表；

S3、根據所述采樣時間信息所在的分布區間和預設的第一并發數量將所述新增源數據集中的新增源數據分別寫入對應的臨時表，所述第一并發數量為同時寫入臨時表中的新增源數據的數量；

S4、根據所述新增源數據集的采集時間生成關于臨時表和預先創建的正式表的任務信息；

S5、根據所述任務信息將對應的臨時表中的所有新增源數據寫入對應的正式表，并在完成寫入后，刪除所述任務信息對應的臨時表。

2.根據權利要求1所述的數據采集方法，其特征在于，所述步驟S1包括：

S11、周期性地獲取最后采集時間和當前時間的差值；

S12、若所述差值大于等于預設的入庫時間間隔，采集源數據庫中的新增源數據集，并將所述當前時間設為新的最后采集時間。

3.根據權利要求1所述的數據采集方法，其特征在于，所述任務信息包括目標臨時表名、與所述目標臨時表名對應的目標正式表名及任務狀態信息，所述步驟S5包括以下步驟：

S51、根據所述目標臨時表名將對應的臨時表中的新增源數據寫入至所述目標正式表名對應的正式表中，并根據寫入進程更新所述任務狀態信息；

S52、在所述任務狀態信息標識寫入完成時，刪除所述目標臨時表名對應的臨時表。

4.根據權利要求3所述的數據采集方法，其特征在于，所述任務狀態信息為0時標識未開始將對應的臨時表中的新增源數據寫入至所述目標正式表名對應的正式表中，所述任務狀態信息為1時標識正在將對應的臨時表中的新增源數據寫入至所述目標正式表名對應的正式表中，所述任務狀態信息為2時標識完成將對應的臨時表中的新增源數據寫入至所述目標正式表名對應的正式表中。

5.根據權利要求3所述的數據采集方法，其特征在于，所述步驟S51包括步驟：

S511、根據所述目標臨時表名和預設的第二并發數量將對應的臨時表中的新增源數據寫入至目標正式表名對應的正式表中，并根據寫入進程更新所述任務狀態信息，所述第二并發數量為同時寫入正式表中的新增源數據的數量。

6.根據權利要求1所述的數據采集方法，其特征在于，所述步驟S3包括：

S31、根據所述采樣時間信息對所述新增源數據集中的新增源數據進行排序；

S32、根據所述采樣時間信息所在的分布區間和預設的第一并發數量將排序好的新增源數據分別寫入對應的多個臨時表。

7.根據權利要求1所述的數據采集方法，其特征在于，所述入庫時間間隔為10-30分鐘。

8.根據權利要求1所述的數據采集方法，其特征在于，所述正式表的預先創建過程為：

根據預設的間隔時間創建所述正式表。

9.一種電子設備，其特征在于，包括處理器以及存儲器，所述存儲器存儲有計算機可讀取指令，當所述計算機可讀取指令由所述處理器執行時，運行如權利要求1-8任一項所述方法中的步驟。

10.一種存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時運行如權利要求1-8任一項所述方法中的步驟。