[發明專利]數據處理方法、裝置、介質和計算設備

在審

• 申請號: 202010103379.4
• 申請日: 2020-02-19
• 公開（公告）號: CN111309732A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 閆明;張小剛;毛迎春
• 申請（專利權）人: 杭州朗和科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/27;G06F16/11
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂朝蕙

1.一種數據處理方法，包括：

獲取多個歷史訪問請求，所述多個歷史訪問請求分別用于訪問數據庫中存儲的數據，所述數據庫包括第一存儲區域和第二存儲區域；

獲取第一數據集合中每項數據的數據量，其中，所述第一數據集合是所述第一存儲區域存儲的數據；

基于所述多個歷史訪問請求和所述每項數據的數據量，確定第一數據集合是否包含冷數據；以及

在確定所述第一數據集合包含冷數據的情況下，將所述冷數據遷移至所述第二存儲區域；

其中，所述第一存儲區域的讀寫性能高于所述第二存儲區域的讀寫性能。

2.根據權利要求1所述的方法，其中，所述基于所述多個歷史訪問請求和所述每項數據的數據量，確定第一數據集合是否包含冷數據包括：

基于所述多個歷史訪問請求，確定所述第一數據集合中每項數據的訪問頻率；

基于每項數據的所述訪問頻率和每項數據的所述數據量，對所述每項數據的冷熱程度進行評分，并獲得評分排序結果；以及

根據所述評分排序結果確定冷數據。

3.根據權利要求1所述的方法，還包括：

由主線程接收來自客戶端的當前訪問請求；

在所述當前訪問請求所請求訪問的數據為冷數據的情況下，由所述主線程向異步線程發送根據所述當前訪問請求生成的訪問任務，以由所述異步線程根據所述訪問任務，將所述冷數據從所述第二存儲區域加載到所述第一存儲區域；

所述主線程響應于接收到來自所述異步線程的通知消息，生成并向所述客戶端發送針對所述當前訪問請求的響應結果；以及

所述主線程根據所述響應結果，更新所述第一存儲區域中存儲的第一數據集合。

4.根據權利要求3所述的方法，還包括：

在所述當前訪問請求所請求訪問的數據為冷數據的情況下，所述主線程增加所述數據的值的引用計數；

將所述數據的鍵添加到任務列表以鎖定所述當前訪問請求的處理位序。

5.根據權利要求4所述的方法，還包括：

響應于接收到將所述主線程操作的所述數據釋放的指令，減少針對所述數據的引用計數；以及

在所述數據的引用計數減少為零的情況下，所述主線程釋放操作的所述數據所占據的內存空間。

6.根據權利要求3所述的方法，還包括：

在所述當前訪問請求所請求訪問的數據的值為冷數據或者遷移數據的情況下，將發送所述當前訪問請求的客戶端添加至客戶端列表中，其中，所述遷移數據為正在被所述異步線程從第一存儲區域遷移至第二存儲區域的數據；或者位于所述異步線程的待處理列表中，以等待被從第一存儲區域遷移至第二存儲區域的數據；

在所述異步線程完成了將所述數據的值加載到所述第一存儲區域的情況下，遍歷所述客戶端列表，以從所述客戶端列表中查找出由于所述數據的值為冷數據或者遷移數據而被阻塞的客戶端；

向所述客戶端發送所述數據的值被加載完成的消息，以便所述客戶端從自身的等待列表中將所述數據的鍵刪除，以及

在所述客戶端等待列表中的數據的鍵均被刪除的情況下，向所述客戶端發送響應結果，以響應所述當前訪問請求。

7.根據權利要求3所述的方法，還包括：

響應于獲取到指示創建文件快照的指令，停止所述異步線程的執行；

基于所述異步線程已經處理完成的訪問任務的任務結果，更新所述第一存儲區域中存儲的第一數據集合；以及

同步創建第一存儲區域中數據的文件快照和第二存儲區域中數據的文件快照。

8.根據權利要求7所述的方法，其中，所述指示創建文件快照的指令是根據另一數據庫的同步請求而生成的；

所述方法還包括：

向所述另一數據庫發送所述第一存儲區域中數據的文件快照和所述第二存儲區域中數據的文件快照，使得所述另一數據庫同步所述第一存儲區域的數據和所述第二存儲區域的數據。