[發明專利]一種數據采集方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111607890.9
• 申請日: 2021-12-23
• 公開（公告）號: CN114281648A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 劉海軍
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34;H04W8/18
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

本發明提供了一種數據采集方法、裝置、電子設備及存儲介質，該方法應用于移動端設備，包括：從云端設備獲取目標任務的任務信息，任務信息中包括目標任務的埋點信息、數據篩選條件及時間窗口，云端設備用于對任務信息進行存儲；根據埋點信息，確定目標任務的數據埋點，并從數據埋點獲取符合數據篩選條件的埋點數據，作為待處理數據；按照時間窗口，對待處理數據進行聚合，得到聚合結果，并將聚合結果存儲為目標任務的數據文件。這樣，根據任務信息進行數據埋點，對數據進行聚合，就可以獲取目標任務對應的數據文件，如需要修改目標任務所需要的數據，只需在云端設備對任務信息進行修改，數據的獲取方式較為靈活，局限性較小。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種數據采集方法、裝置、電子設備及存儲介質。

背景技術

在收集用戶行為數據的場景下，移動端具有天然的用戶行為數據優勢，可以直接與用戶進行交互，獲取用戶的行為數據。

目前在移動端通常采取硬編碼形式獲取用戶行為數據，也就是說，直接將需要獲取的用戶行為數據的信息嵌入到程序或其他可執行對象的源代碼中，在程序或代碼的執行過程中實現用戶行為數據的獲取。

但是，由于硬編碼數據通常只能通過編輯源代碼和重新編譯可執行文件來修改，因此，目前的用戶行為數據的獲取方式不靈活，需要針對特定需求的進行開發，然后跟隨版本發布進行迭代更新，數據難于有效利用，局限性非常大，靈活性非常差。

發明內容

為解決上述技術問題，本發明示出了一種數據采集方法、裝置、電子設備及存儲介質。

本發明提供了一種數據采集方法，應用于移動端設備，所述方法包括：

從云端設備獲取目標任務的任務信息，所述任務信息中包括所述目標任務的埋點信息、數據篩選條件及時間窗口，所述云端設備用于對所述任務信息進行存儲；

根據所述埋點信息，確定所述目標任務的數據埋點，并從所述數據埋點獲取符合所述數據篩選條件的埋點數據，作為待處理數據；

按照所述時間窗口，對所述待處理數據進行聚合，得到聚合結果，并將所述聚合結果存儲為所述目標任務的數據文件。

可選地，所述目標任務包括多個，所述根據所述埋點信息，確定所述目標任務的數據埋點，并從所述數據埋點獲取符合所述數據篩選條件的埋點數據，作為待處理數據，包括：

根據所述目標任務的埋點信息，生成每個數據埋點的分發索引，所述分發索引用于指示每個數據埋點與至少一個所述目標任務之間的對應關系；

對所述數據埋點進行監聽，根據所述分發索引，確定監聽到的埋點數據對應的目標任務；

判斷所述監聽到的埋點數據是否符合所述數據埋點對應的任一目標任務的數據篩選條件，若符合，則將監聽到的埋點數據作為所述任一目標任務的待處理數據。

可選地，所述按照所述時間窗口，對所述待處理數據進行聚合，得到聚合結果，包括：

將所述任務信息的獲取時間作為起始時間，確定所述目標任務的多個時間窗口的截止時間；

當達到任一時間窗口的截止時間時，對所述任一時間窗口內獲取到的待處理數據進行聚合，得到聚合結果。

可選地，所述任務信息中還包括第一聚合規則，所述按照所述時間窗口，對所述待處理數據進行聚合，得到聚合結果，包括：

按照所述時間窗口，根據所述第一聚合規則對所述待處理數據進行聚合，得到聚合結果；

其中，所述第一聚合規則包括以下至少一種：數據個數統計、最大值計算以及最小值計算。

可選地，所述任務信息中還包括保存周期，所述將所述聚合結果存儲為所述目標任務的數據文件，包括：