[發明專利]數據采集方法、裝置及終端設備

有效

• 申請號: 201910471230.9
• 申請日: 2019-05-31
• 公開（公告）號: CN112016025B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 賈延奪;溫宗霖;王亮
• 申請（專利權）人: 北京易真學思教育科技有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F9/54;G06F16/27
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本發明實施例提供了一種數據采集方法、裝置及終端設備。數據采集方法包括：從預設的至少兩個備選存儲區域中，確定用于存儲用戶當前時間段的實時數據的第一存儲區域；實時采集消息隊列中的用戶數據以得到實時數據，并將實時數據累加存儲至第一存儲區域；按照定時采集規則，生成與第一時間段累加存儲的實時數據對應的定時數據，并將定時數據累加存儲至預設的第三存儲區域，其中，第一時間段的實時數據存儲于第二存儲區域中，第二存儲區域為至少兩個備選存儲區域中除第一存儲區域之外的備選存儲區域，第一時間段為當前時間段之前的時間段。通過本實施例提供的方案存儲的數據確定累加型數據，可以保證累加型數據的準確性以及實時性。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據采集方法、裝置及終端設備。

背景技術

在采集數據的過程中，經常需要采集累加型的數據，例如登錄次數、瀏覽次數等。

現有的采集累加型數據的過程可以為：先使用spark集群讀取卡夫卡(kafka)消息隊列中的數據，然后根據讀取到的數據進行統計，來確定累加型數據；若由于spark集群出現異常或卡夫卡消息隊列出現異常等原因，導致從卡夫卡消息隊列中讀取數據失敗時，會采用其他替代方法來讀取數據。

當spark集群出現異常時，通常會調整讀取卡夫卡消息隊列時的偏移量，來重新讀取卡夫卡消息隊列中讀取失敗的數據，但是，若spark集群長時間宕機，會導致讀取失敗的數據超出卡夫卡消息隊列中最大暫存數據的量，從而導致數據準確性降低，進而導致確定的累加型數據的準確性降低。當卡夫卡消息隊列出現異常時，會從上游數據庫中讀取備份的卡夫卡消息隊列的數據，并根據讀取的數據進行統計，來確定累加型數據，但是，由于備份的數據并不會根據卡夫卡消息隊列中的實時數據進行實時更新，導致讀取到的數據實時性降低，進而導致確定的累加型數據的實時性降低。

有鑒于此，現有技術中亟需解決的技術問題是：如何提供一種能夠保證累加型數據的準確性以及實時性的數據采集方案。

發明內容

有鑒于此，本發明實施例提供一種數據采集方法、裝置及終端設備，以解決上述問題。

根據本發明實施例的第一方面，提供了一種數據采集方法，其包括：從預設的至少兩個備選存儲區域中，確定用于存儲用戶當前時間段的實時數據的第一存儲區域；實時采集消息隊列中的用戶數據以得到所述實時數據，并將所述實時數據累加存儲至所述第一存儲區域；按照定時采集規則，生成與第一時間段累加存儲的實時數據對應的定時數據，并將所述定時數據累加存儲至預設的第三存儲區域，其中，第一時間段的實時數據存儲于第二存儲區域中，所述第二存儲區域為所述至少兩個備選存儲區域中除所述第一存儲區域之外的備選存儲區域，所述第一時間段為所述當前時間段之前的時間段。

根據本發明實施例的第二方面，提供了一種數據采集裝置，其包括：第一存儲區域確定模塊，用于從預設的至少兩個備選存儲區域中，確定用于存儲用戶當前時間段的實時數據的第一存儲區域；實時數據采集模塊，用于實時采集消息隊列中的數據以得到所述實時數據，并將所述實時數據累加存儲至所述第一存儲區域；定時數據采集模塊，用于按照定時采集規則，生成與第一時間段累加存儲的實時數據對應的定時數據，并將所述定時數據累加存儲至預設的第三存儲區域；其中，第一時間段的實時數據存儲于第二存儲區域中，所述第二存儲區域為所述至少兩個備選存儲區域中除所述第一存儲區域之外的備選存儲區域，所述第一時間段為所述當前時間段之前的時間段。

根據本發明實施例的第三方面，提供了一種終端設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如上所述的數據采集方法對應的操作。