[發明專利]數據采集方法、裝置、設備及存儲介質

有效

• 申請號: 202110281104.4
• 申請日: 2021-03-16
• 公開（公告）號: CN112948216B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 陳鍵冬;李旦
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據采集方法，其特征在于，包括：

預先針對各種待采集數據類型分別設置獨立的數據采集開關以及HTTP接口；其中，所述數據采集開關用于控制開啟和關閉與待采集數據類型對應的數據采集操作，所述HTTP接口用于返回數據；

在進程運行過程中，如果接收到超文本傳輸協議HTTP服務請求，則確定與所述HTTP服務請求對應的待采集數據類型；

如果本地緩存中存在與所述待采集數據類型匹配的有效數據，則將所述有效數據作為目標數據返回；

如果本地緩存中不存在與所述待采集數據類型匹配的有效數據，則觸發與所述待采集數據類型匹配的數據采集開關進行數據采集，并將采集的數據作為目標數據返回。

2.根據權利要求1所述的方法，其特征在于，所述數據采集開關僅在接收到對應的HTTP服務請求時才被觸發開啟數據采集操作，在通過HTTP接口返回數據后被觸發關閉數據采集操作。

3.根據權利要求1所述的方法，其特征在于，預先針對各種待采集數據類型分別設置獨立的數據采集開關以及HTTP接口，包括：

獲取各所述待采集數據類型對應的數據采集函數，并為各數據采集函數分別設置對應的數據采集開關以及HTTP接口。

4.根據權利要求1所述的方法，其特征在于，預先針對各種待采集數據類型分別設置采集周期參數；

如果本地緩存中存在與所述待采集數據類型匹配的有效數據，則將所述有效數據作為目標數據返回，包括：

如果在本地緩存中查詢到與所述待采集數據類型匹配的目標緩存數據，并且所述目標緩存數據的采集時間與當前時間的差值不超過與所述待采集數據類型匹配的采集周期，則將所述目標緩存數據為目標數據返回。

5.根據權利要求1所述的方法，其特征在于，如果本地緩存中不存在與所述待采集數據類型匹配的有效數據，則觸發與所述待采集數據類型匹配的數據采集開關進行數據采集，包括：

如果在本地緩存中未查詢到與所述待采集數據類型匹配的目標緩存數據，或者，從本地緩存中獲取到的目標緩存數據的采集時間與當前時間的差值超過與所述待采集數據類型匹配的采集周期，則觸發與所述待采集數據類型匹配的數據采集開關進行數據采集，并將采集的數據更新到本地緩存中。

6.根據權利要求1所述的方法，其特征在于，還包括：

使用與所述待采集數據類型匹配的HTTP接口將目標數據返回至前端，以通過前端將目標數據在與所述待采集數據類型對應的視圖中進行可視化展示。

7.一種數據采集裝置，其特征在于，包括：

設置模塊，用于預先針對各種待采集數據類型分別設置獨立的數據采集開關以及HTTP接口；其中，所述數據采集開關用于控制開啟和關閉與待采集數據類型對應的數據采集操作，所述HTTP接口用于返回數據；

數據類型確定模塊，用于在進程運行過程中，如果接收到HTTP服務請求，則確定與所述HTTP服務請求對應的待采集數據類型；

數據查詢模塊，用于如果本地緩存中存在與所述待采集數據類型匹配的有效數據，則將所述有效數據作為目標數據返回；

數據采集模塊，用于如果本地緩存中不存在與所述待采集數據類型匹配的有效數據，則觸發與所述待采集數據類型匹配的數據采集開關進行數據采集，并將采集的數據作為目標數據返回。

8.一種電子設備，其特征在于，所述電子設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-6中任一所述的數據采集方法。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一所述的數據采集方法。