[發明專利]數據處理方法及系統

在審

• 申請號: 201911339999.1
• 申請日: 2019-12-23
• 公開（公告）號: CN111061768A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 黃澤鑫;羅曉;王靈軍;王敉佳
• 申請（專利權）人: 珠海格力電器股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2457;G06F16/2458;G06F16/248
• 代理公司: 深圳市康弘知識產權代理有限公司 44247
• 代理人: 吳敏

本發明公開了一種數據處理方法及系統，所述方法包括：將從數據源解析出來的數據存儲到數據庫的同時，將解析出來的數據緩存到數據緩存模塊中并實時提供至前端頁面進行顯示，然后通過預設的定時時長定時從所述數據緩存模塊中取出數據進行數據統計，并將統計結果寫入到數據庫中。采用本發明的技術方案，可以提高前端頁面顯示數據的實時性。

技術領域

本發明涉及數據庫領域，尤其涉及一種數據處理方法及系統。

背景技術

隨著各種互聯網業務的快速發展，業務量的不斷增長，基于數據存儲的數據庫的存儲量也隨之增大，數據量的龐大對于數據庫的操作存在一定的性能瓶頸，如最初的從上萬條數據中取出十條數據，到如今的從上百萬乃至上千萬條數據中取出十條數據，再將提取到的數據進行數據加工并運用到業務系統，對數據庫的數據處理性能原來越高。

通常的數據處理流程為：先對數據源提供的源數據進行處理，然后再將數據存儲到數據庫中；在查看數據時，再從數據庫中提取數據。一系列的流程下來，需經過多個數據處理工序，導致需要數據處理過程復雜，對于需要在交互平臺上查看統計數據的用戶來說，需長時間等待，無法滿足用戶實時查看當前數據的需求。

發明內容

本發明的目的是針對上述現有技術中數據處理過程無法滿足用戶實時查看當前數據的需求的技術問題，提供一種高效的數據處理方法及系統。

本發明實施例中，提供了一種數據處理方法，其包括：

將從數據源解析出來的數據存儲到數據庫的同時，將解析出來的數據緩存到數據緩存模塊中并由所述數據緩存模塊實時提供至前端頁面進行顯示，然后通過預設的定時時長定時從所述數據緩存模塊中取出數據進行數據統計，并將統計結果寫入到數據庫中。

本發明實施例中，所述的數據處理方法還包括：

從數據源中接收原始數據，并對原始數據進行解析處理。

本發明實施例中，所述的數據處理方法還包括：

對解析出來的數據進行加工處理，生成數據庫可存儲的數據。

本發明實施例中，所述的數據處理方法還包括：

當所述數據緩存模塊出現故障導致數據無法讀取時，前端頁面從所述數據庫中獲取數據進行顯示。

本發明實施例中，所述的數據處理方法還包括：

當所述數據緩存模塊出現故障導致數據無法讀取時，定時從所述數據庫中獲取數據進行數據統計，并將統計結果寫入到所述數據庫中。

本發明實施例中，還提供了一種數據處理系統，其包括數據庫、數據緩存模塊、顯示交互模塊和定時統計模塊，

所述數據庫，用于存儲將從數據源解析出來的數據；

所述顯示交互模塊，用于生成供用戶查看數據的前端頁面；

所述數據緩存模塊，用于緩存從數據源解析出來的數據并實時提供至所述顯示交互模塊生成的前端頁面中進行顯示；

所述定時統計模塊，用于通過預設的定時時長定時從所述數據緩存模塊中取出數據進行數據統計，并將統計結果寫入到所述數據庫中。

本發明實施例中，所述的數據處理系統還包括：

數據解析模塊，用于從數據源中接收原始數據，并對原始數據進行解析處理。

本發明實施例中，所述的數據處理系統還包括：

數據處理模塊，用于對所述數據解析模塊解析出來的數據進行加工處理，生成數據庫可存儲的數據。

本發明實施例中，當所述數據緩存模塊出現故障導致數據無法讀取時，所述前端頁面顯示交互模塊從所述數據庫中獲取數據進行顯示。