[發明專利]數據處理方法、系統、服務器集群和電子設備

在審

• 申請號: 201810109337.4
• 申請日: 2018-02-02
• 公開（公告）號: CN110134324A
• 公開（公告）日: 2019-08-16
• 發明（設計）人: 李立威;張帥
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

本公開提供了一種數據處理方法，應用于第一服務器，包括，獲取數據請求信息，所述數據請求信息用于請求數據對象的數據對象信息，基于所述數據請求信息，確定所述數據對象的熱度值，基于所述數據對象的熱度值，確定所述數據對象信息的存儲位置，其中，高熱度值的數據對象的數據對象信息的存儲位置的讀寫性能不小于低熱度值的數據對象的數據對象信息的存儲位置的讀寫性能，以及基于所述存儲位置，獲取所述數據對象信息，用于響應所述數據請求，所述方法還包括，更新所述數據對象與數據對象的熱度值的映射關系。

技術領域

本公開涉及互聯網技術領域，更具體地，涉及數據處理方法、系統、服務器集群和電子設備。

背景技術

在數據存儲領域，一般會選擇內存、機械硬盤、固態硬盤等存儲介質存儲數據，不同的存儲介質的訪問速度不同，例如內存的訪問速度大于機械硬盤和固態硬盤。一般不同的數據庫軟件將數據存儲在不同的存儲介質上。例如Redis數據庫將數據存儲到內存，而Hive數據庫將數據存儲到計算機硬盤(包括固態硬盤、機械硬盤)。存在一些容量大的存儲介質例如機械硬盤、固態硬盤等，但是訪問這些存儲介質中的數據的速度很慢，而能夠實現快速訪問的存儲介質的數存儲容量又很小，例如內存。若要高速訪問大量數據，就需要大量的內存空間，大大增加了存儲成本。

發明內容

有鑒于此，本公開提供了數據處理方法、系統、服務器集群和電子設備。

本公開的一個方面提供了一種數據處理方法，應用于第一服務器，包括，獲取數據請求信息，所述數據請求信息用于請求數據對象的數據對象信息，基于所述數據請求信息，確定所述數據對象的熱度值，基于所述數據對象的熱度值，確定所述數據對象信息的存儲位置，其中，高熱度值的數據對象的數據對象信息的存儲位置的讀寫性能不小于低熱度值的數據對象的數據對象信息的存儲位置的讀寫性能，以及基于所述存儲位置，獲取所述數據對象信息，用于響應所述數據請求，所述方法還包括，更新所述數據對象與數據對象的熱度值的映射關系。

根據本公開的實施例，所述基于所述數據對象的熱度值，確定所述數據對象信息的存儲位置，包括，基于所述數據對象的熱度值，確定所述熱度值所屬的熱度區間，以及基于所述熱度區間，確定所述數據對象信息的存儲位置。

根據本公開的實施例，所述更新所述數據對象與數據對象的熱度值的映射關系，包括，獲取計算出的熱度值，所述熱度值為單位時間內的數據對象的訪問次數，以及基于所述計算出的熱度值，更新所述數據對象與數據對象的熱度值的映射關系。

根據本公開的實施例，所述方法還包括，判斷由更新后所述數據對象的熱度值所確定的所述數據對象信息的存儲位置與由更新前所述數據對象的熱度值所確定的所述數據對象信息的存儲位置是否一致，獲得判斷結果，以及在所述判斷結果為不一致的情況下，控制調整所述數據對象信息的存儲位置。

本公開的另一個方面提供了一種數據處理方法，應用于第二服務器，包括，獲取訪問日志，基于所述訪問日志，計算單位時間內的數據對象的訪問次數作為所述數據對象的熱度值，以及發送所述數據對象的熱度值至第一服務器。

根據本公開的實施例，在所述方法執行至少兩次的情況下，所述方法還包括，基于本次計算的所述數據對象的熱度值，確定所述數據對象信息的目標存儲位置，獲取所述數據對象信息的當前存儲位置，以及在所述目標存儲位置與所述當前存儲位置不一致的情況下，控制將所述數據對象信息的存儲位置由所述當前存儲位置移動至所述目標存儲位置。

根據本公開的實施例，所述在所述目標存儲位置與所述當前存儲位置不一致的情況下，控制將所述數據對象信息的存儲位置由所述當前存儲位置移動至所述目標存儲位置，包括，控制將所述當前存儲位置中的數據對象信息復制到所述目標存儲位置，發送本次計算的所述數據對象的熱度值至第一服務器，以及控制刪除所述當前存儲位置中的數據對象信息。