[發明專利]離線數據獲取方法及系統、服務器及存儲介質

有效

• 申請號: 201810371708.6
• 申請日: 2018-04-24
• 公開（公告）號: CN108563776B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 張振鐸;陳少杰;張文明
• 申請（專利權）人: 武漢斗魚網絡科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27
• 代理公司: 武漢河山金堂專利事務所(普通合伙) 42212
• 代理人: 胡清堂;汪彩彩

本發明公開了一種離線數據獲取方法及系統、服務端及存儲介質，其通過設置一第三方數據庫作為共享數據庫；在離線計算任務完成時，將數據更新的最新有效時間信息從服務端數據庫外置到第三方數據庫；并在進行數據請求時，自第三方數據庫中獲取到數據更新的最新有效時間信息，將數據更新的最新有效時間信息當作查詢條件自服務端數據庫中獲取請求數據返回客戶端。通過將數據離線計算完成的時間戳進行單獨提取存儲，使客戶端和服務端均能夠獲取到準確的數據更新完成時間，從而減去了客戶端或者服務端在數據庫中嘗試數據的操作，進而減少了時間和資源消耗，使整個系統數據流向更科學，更高效。

技術領域

本發明涉及軟件工程領域，尤其涉及一種離線數據獲取方法及系統、服務器及存儲介質。

背景技術

軟件工程領域常有離線計算任務場景和異步數據計算場景，如商城系統需要每天凌晨計算最近昨天或者最近一段時間的消費統計，直播領域需要每天凌晨計算主播昨天或最近一個時間段的直播時長、收益或人氣情況。這些計算的數據會顯示在客戶端頁面。這時，便出現了一個問題，即離線計算數據獲取的問題。因為離線統計和計算是數據量龐大，耗時的統計任務，任務執行時間和完成時間都不確定，這樣會造成數據獲取方查詢得不到數據，或者服務方無法提供正確可用的數據。

傳統的解決方法是客戶端請求昨日的數據，如果服務方查詢數據庫發現昨日的數據還沒有計算完成，就返回錯誤給客戶端，然后客戶端接著請求前天的數據，直到能獲取數據為止(一般離線任務不會跨天，即昨日無數據，請求前天會有數據)；或者是將嘗試查找數據的職責放在服務端，即客戶端請求最新數據時，服務端查詢昨日數據，如果還未產出，則再查詢前日數據并返回客戶端。這樣的方法，無論數據嘗試方是客戶端還是服務端，其中都會消耗大量的時間和資源在數據嘗試上，鑒于離線數據產生的時間不確定，這種方法可以解決業務問題，但是時間開銷和資源開銷較大，特別是對于實時性要求較高的系統。

發明內容

有鑒于此，本發明實施例提供了一種離線數據獲取方法及系統、服務器及存儲介質，以解決減去了客戶端或者服務端在數據庫中嘗試數據的操作造成時間和資源消耗的問題。

本發明實施例的第一方面，提供了一種離線數據獲取方法，其包括：

設置一第三方數據庫作為共享數據庫；

將數據更新的最新有效時間信息從服務端數據庫外置到第三方數據庫；

自第三方數據庫中獲取到數據更新的最新有效時間信息，將數據更新的最新有效時間信息當作查詢條件自服務端數據庫中獲取請求數據返回客戶端。

本發明實施例的第二方面，提供了一種離線數據獲取系統，其包括：

第三方設置模塊，用于設置一第三方數據庫作為共享數據庫；

時間外置模塊，用于將數據更新的最新有效時間信息從服務端數據庫外置到第三方數據庫；

數據獲取模塊，用于自第三方數據庫中獲取到數據更新的最新有效時間信息，將數據更新的最新有效時間信息當作查詢條件自服務端數據庫中獲取請求數據返回客戶端。

本發明實施例的第三方面，提供了一種服務端，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上所述離線數據獲取方法的步驟。

本發明實施例的第四方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如上所述離線數據獲取方法的步驟。

本發明所述離線數據獲取方法及系統、服務器及存儲介質，其在基于離線、異步數據計算時間長、完成時間不確定且客戶端又頻繁請求的場景下，通過將數據離線計算完成的時間戳進行單獨提取存儲，使客戶端和服務端均能夠獲取到準確的數據更新完成時間，從而減去了客戶端或者服務端在數據庫中嘗試數據的操作，進而減少了時間和資源消耗，使整個系統數據流向更科學，更高效。