[發明專利]數據采集方法、移動終端及可讀存儲介質

在審

• 申請號: 201710856202.X
• 申請日: 2017-09-20
• 公開（公告）號: CN107748756A
• 公開（公告）日: 2018-03-02
• 發明（設計）人: 林浩
• 申請（專利權）人: 努比亞技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所44287
• 代理人: 胡海國

技術領域

本發明涉及數據統計領域，尤其涉及一種數據采集方法、移動終端及可讀存儲介質。

背景技術

在數字統計領域，通過flume等數據采集系統已經成為數據采集的主要方式。而flume等數據采集系統的工作流程為接收數據，將獲取到的數據存臨時緩存組件。在由臨時儲存組件將日志文件儲存在本地中，最后由發送組件發往遠程地址，從而使得用戶獲取到日志文件。而這樣的數據采集有個最大的弊端，就是讀取速度大于發送速度時，會導致數據采集系統出錯，從而導致數據丟失并且用戶無法及時獲取到想要的數據等情況。

發明內容

本發明的主要目的在于提供一種數據采集方法、移動終端以及可讀存儲介質，旨在解決在進行數據采集時，由于數據的讀取與發送速度不匹配且難以調節所造成的數據丟失等問題。

為實現上述目的，本發明提供一種數據采集方法，所述數據采集方法包括以下步驟：

根據發送組件儲存的讀取記錄，控制讀取組件從日志文件夾讀取對應目標日志，并將目標日志存入臨時儲存組件；

根據臨時存儲組件的剩余容量調整讀取組件的讀取速度，控制發送組件讀取臨時存儲組件中的目標日志；

控制發送組件發送目標日志，并根據目標日志更新讀取記錄。

可選地，所述根據儲存的讀取記錄對日志文件進行讀取的步驟之前包括：

監視源日志文件夾，獲取所有符合配置要求的待使用日志文件，并由待使用日期文件構成日志文件夾。

可選地，所述根據發送組件儲存的讀取記錄，控制讀取組件從日志文件夾讀取對應目標日志的步驟包括：

檢測儲存空間中是否儲存有讀取記錄，根據檢測結果判斷對日志文件是否為首次進行數據采集。

若檢測到儲存空間中沒有讀取記錄，則判定為首次讀取，由初始位置開始讀??；

若檢測到儲存空間中有讀取記錄，則判定為非首次讀取，由讀取位置所記錄的最后讀取位置開始讀取。

可選地，所述將目標日志存入臨時儲存組件的步驟包括：

將目標日志存入臨時儲存組件所設置的緩存空間中。

可選地，所述根據臨時存儲組件的剩余容量調整讀取組件的讀取速度的步驟包括：

檢測臨時儲存組件的當前剩余容量；

根據當前剩余容量的檢測結果調節讀取組件的讀取速度。

可選地，所述根據當前剩余容量的檢測結果調節讀取組件的讀取速度的步驟包括：

若比對得出臨時存儲組件的當前剩余容量大于預設最小容量，則控制讀取組件繼續進行讀取目標日志；

若比對得出臨時存儲組件的已用容量小于等于到預設最小容量，則控制讀取組件暫停讀取目標日志。

可選地，所述控制發送組件發送目標日志的步驟還包括：

將讀取的數據通過發送組件發送至預設遠端地址。

可選地，所述根據目標日志更新讀取記錄的步驟包括：

檢測目標日志的類型是否為可更新日志；

若目標日志的類型不為可更新日志文件，則將讀取記錄更新為當前日志文件的下一個日志文件的初始位置；

若目標日志的類型為可更新日志文件，則將讀取記錄更新為當前日志文件的最后讀取位置。

此外，為實現上述目的，本發明還提供一種移動終端，所述移動終端包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的數據采集程序，所述數據采集程序被所述處理器執行時實現如上所述數據采集方法的步驟。

此外，為實現上述目的，本發明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲的數據采集程序，所述數據采集程序被處理器執行時實現如上所述的數據采集方法的步驟。

本發明提出的數據采集方法，在用戶通過數據采集系統進行數據采集時，顯著的提升數據采集的整體效率，以及能夠根據數據的發送速度調節數據的讀取速度，并在讀取的數據達到一定容量時，暫停繼續讀取數據，直至將已經讀取的數據全部發送，避免了因為速度與發送速度不匹配導致的數據異常，而且將臨時儲存組件的存儲介質由磁盤變為緩存，大大增加了數據采集的效率。

附圖說明

圖1為本發明實施例方案涉及的硬件運行環境的終端結構示意圖；

圖2為發明實施例提供的一種通信網絡系統架構圖；

圖3為本發明數據采集方法第一實施例的流程示意圖；

圖4為本發明數據采集方法另一實施例中步驟S20的細化流程示意圖；

圖5為數據采集系統的一場景示意圖；