[發明專利]一種申威架構上的虛擬機訪存特征提取方法及系統

有效

• 申請號: 201911070571.1
• 申請日: 2019-11-05
• 公開（公告）號: CN110865869B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 沙賽;汪小林;羅英偉
• 申請（專利權）人: 北京大學
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F11/30;G06F11/32;G06F11/34;G06F12/1027;G06F12/123
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種申威架構上的虛擬機訪存特征提取方法及系統，其通過“熱頁集”機制、“置位?中斷”方法和“訪存失效率曲線”構建方法，獲取虛擬機訪存序列的重用距離分布、內存缺頁率、訪內存缺頁率曲線，得到虛擬機工作集大小。本發明在申威平臺上首次實現了動態訪存特征提取提取技術，成功地繪制高精度的內存缺失率曲線并計算出準確的工作集大小，為下一步根據工作集大小進行有效的多虛擬機內存動態調配以提高內存利用率提供基礎條件。

技術領域

本發明涉及服務器內存虛擬化優化領域，尤其涉及一種申威架構上的虛擬機訪存特征提取方法及系統。

技術背景

申威架構CPU作為國產CPU的代表之一，已經是一個比較成熟的解決方案。申威服務器已經應用到了國內的許多應用領域，特別是中國政府和有關組織的關鍵領域。作為具有完全自主產權的國產CPU架構，申威是在國家的控制下發展和管理的，因此能夠很好地保證系統的安全性，并適用于多種計算機應用。申威架構服務器未來將參與到更多的高可信、高安全的領域，如云數據存儲、大規模數據處理，云計算等。然而，和x86、arm等傳統CPU架構相比，申威架構仍有較大的功能和性能差距。特別地，作為云計算技術的基石，申威架構下的虛擬化解決方案雖日漸發展，但在性能方面仍有較大的發展空間。

虛擬化技術是云計算的核心技術。它將每臺物理主機的CPU、內存、硬盤、網絡等物理資源抽象并封裝給了多個虛擬機，提供給用戶使用。虛擬機無法直接操作硬件，而是通過虛擬機管理器訪問這些資源。虛擬化技術的優勢在于，實現了在同一物理節點運行多個不同的操作系統，能夠更加充分地利用硬件資源，提高系統利用率，節約能源消耗。此外，虛擬機還具有良好的隔離性。當前申威架構下的虛擬化方案已經有了基本實現，但距離大規模使用還有較大差距，其核心問題在于虛擬化的性能不足。一方面是架構本身的發展尚不完整，對于虛擬化缺少必要的優化支持；另一方面是虛擬化軟件層面的優化仍不充分。

虛擬化技術的三個主要方面是CPU虛擬化、內存虛擬化以及IO虛擬化。其中的內存虛擬化最為關鍵也最為復雜。根據調查，目前國內外知名的云計算平臺供應商，其內存等資源的利用率均不足40％。導致這種情況的核心問題是虛擬機對共享資源的競爭。對于一臺服務器而言，當其上部署的虛擬機數量過多時，會造成虛擬機之間的相互干擾。考慮到實際的應用場景，一臺虛擬機的內存需求是不斷變化的。在某一段時間內，某些虛擬機的可用內存往往大于已用內存，而其他虛擬機的可能出現內存不足的情況。針對這種情況，如何計算出虛擬機應用程序在短時間內的內存需求(即工作集大小)就顯得極為重要。工作集大小對于指導多虛擬機的內存動態分配具有重要意義。

訪存特征提取技術，就是一種動態的工作集測算技術。該技術的實現涉及到CPU架構的特性(如對內存的管理機制)。基于申威架構的特點，我們設計并實現了一種多層協調的虛擬機上應用程序工作集測算方法。這是一種基于最近最少使用棧重用距離與熱頁集相結合的內存工作集預測的方法，能夠高效準確地獲得虛擬機高精度的內存失效率曲線；以熱頁集過濾后采集到的重用次數來確定在申威架構下的虛擬機的實際內存需求。

申威架構雖然缺乏一些虛擬化的硬件支持，但是具有獨特的軟件靈活性。相較于其他傳統CPU架構，申威獨有的硬件模式(HMCODE)可以以軟件的方式進行各種實現。在HMCODE中，系統可以靈活地操縱各類寄存器，實現對轉換檢測緩沖區(TranslationLookaside Buffer，TLB)的刷新和填充；通過位標記來直接識別一個頁是否需要追蹤處理，而且可以跳過不必要的頁表代換；申威架構的TLB中，包含虛擬機號(VPN)和用戶進程進程號(UPN)，這就避免了進程切換需要刷新整個TLB，提高了效率。

發明內容

本發明的目的是在申威架構下實現動態訪存特征提取，獲取運行時虛擬機上的應用程序工作集大小，進而對虛擬機的內存分配進行指導，以提高虛擬機性能和內存利用率。具體來說，針對申威架構下虛擬機訪存的特點，實時地獲取虛擬機訪存序列，然后得到內存頁的重用距離分布，最終繪制訪存失效率曲線并計算工作集大小。