[發明專利]一種面向超融合設備的近數據處理系統

在審

• 申請號: 202010742897.0
• 申請日: 2020-07-29
• 公開（公告）號: CN111880739A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 喻崇仁;陽晗杰;殷雙飛
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/455
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 王雪芬

1.一種面向超融合設備的近數據處理系統，其特征在于，該系統基于多個計算節點進行設計，將每個計算節點配置多個普通硬盤、多個本地高速硬盤，該近數據處理系統包括虛擬機模塊、緩存模塊和共享存儲模塊；

所述虛擬機模塊用于完成多個計算節點上虛擬機的創建、刪除，實現對計算資源的統一管理；

所述緩存模塊用于針對每個創建的虛擬機，在多個計算節點上本地高速硬盤上劃分出對應獨立的存儲空間，緩存對應虛擬機訪問的熱點數據；

所述共享存儲模塊用于實現對多個計算節點上普通硬盤的統一管理，為虛擬機模塊創建的虛擬機提供共享存儲空間。

2.如權利要求1所述的系統，其特征在于，所述緩存模塊采用基于訪問行為的惰性緩存調度算法實現數據緩存。

3.如權利要求2所述的系統，其特征在于，所述緩存模塊采用基于訪問行為的惰性緩存調度算法實現數據緩存，其中假設：在預設短時間內被訪問至少兩次比被訪問一次的數據塊更有可能成為熱點，并且針對數據塊在不同時間段的訪問行為對判斷該數據塊成為熱點的影響不同；

該惰性緩存調度算法借助兩級緩存進行熱點數據的篩選：在內存中管理兩個鏈表C₁和C₂，分別對應一級緩存和二級緩存。

4.如權利要求3所述的系統，其特征在于，所述緩存模塊采用基于訪問行為的惰性緩存調度算法實現數據緩存時，對熱點數據的識別具體為：

當數據塊A第一次被訪問時，首先插入鏈表C₁的尾部，當數據塊A在預設短時間內被再次訪問時，將數據塊A從鏈表C₁中刪除，并插入鏈表C₂的尾部；鏈表C₁中各節點按照數據塊的訪問先后順序進行排序，最晚被訪問的節點位于鏈表的尾部，設T_i表示數據塊i的訪問時間，訪問時間越早T_i值越小；

鏈表C₂中各節點按照數據塊在過去一段時間內的訪問頻度估值進行排序，估值最大的節點位于鏈表的尾部，V_i表示數據塊i的訪問頻度估值；

針對數據塊i的訪問頻度估值V_i統計過去M分鐘內數據塊i的訪問次數，并將M分鐘劃分為R個時間間隔，每個時間間隔所對應的權重不同，距離當前時間越近的時間間隔所對應的權重越大；

記當前時間為t，N_ik為從t-(M/R-k+1)R時刻到t-(M/R-k)R時刻內數據塊i的訪問次數，則

其中α₁α₂...α_M/R,且

其中，k為正整數；

每隔M/R分鐘重新計算鏈表C₂上各節點的訪問頻度估值，并進行排序，當有節點的估值為0時，將該節點從鏈表C₂中刪除，插入鏈表C₁尾部。

5.如權利要求1所述的系統，其特征在于，所述普通硬盤為磁盤。

6.如權利要求1所述的系統，其特征在于，所述普通硬盤為SSD。

7.如權利要求1所述的系統，其特征在于，所述本地高速硬盤為NVMe SSD。

8.如權利要求1所述的系統，其特征在于，所述虛擬機模塊具體對虛擬機的分配算法進行優化設計，同時依據虛擬機實例所需資源大小以及資源池內各節點的負載情況，以及各計算節點存儲的虛擬機實例數據量，進行虛擬機創建或遷移。

9.一種如權利要求1至8中任一項所述的系統的應用，其特征在于，包括以下步驟：當虛擬機訪問文件時，首先在本地高速硬盤中查找，若本地高速硬盤命中，則直接從緩存模塊返回數據至虛擬機處理；若本地高速硬盤未命中，則再從共享存儲模塊中三個計算節點的普通硬盤上分別獲取數據，并把本次訪問的數據寫入本地高速硬盤，待下次訪問該文件時，直接從本地高速硬盤讀取。

10.一種利用如權利要求1至8中任一項所述的系統實現讀、寫數據塊的方法。