[發明專利]基于RDMA的虛擬機分布式Fork方法

在審

• 申請號: 202310215218.8
• 申請日: 2023-03-06
• 公開（公告）號: CN116149795A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 魏星達;王天下;陳榕;陳海波
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于RDMA的虛擬機分布式Fork方法，包括：在虛擬機打包執行狀態過程中，對目標的虛擬機的內存內容以及模擬的硬件狀態進行打包，存儲于文件中；在虛擬機執行狀態恢復過程中，利用用戶態程序使用RDMA處理虛擬機的缺頁錯誤；具體為：父虛擬機所在物理機執行虛擬機打包執行狀態過程，返回打包虛擬機的標識或打包失敗的錯誤；若虛擬機執行狀態打包成功，則子虛擬機所在物理機通過父虛擬機所在物理機的標識以及打包虛擬機的標識，執行虛擬機狀態恢復過程，完成分布式Fork的過程。本發明實現了按需傳輸虛擬機內存鏡像的功能，降低了虛擬機內存鏡像傳輸的時間開銷，從而降低了虛擬機分布式Fork的時延。

技術領域

本發明涉及虛擬機分布式Fork技術領域，具體地，涉及一種基于RDMA的虛擬機分布式Fork方法。

背景技術

RDMA(Remote?Direct?Memory?Access，遠端內存直接訪問)技術以其高吞吐和低延時的特性，在現代數據中心中被廣泛應用。該技術提供了主機對遠端服務器內存直接訪問的支持，相比于傳統TCP/IP協議棧，RDMA不需要經過操作系統內核即可完成應用程序和網卡之間的數據傳輸，避免了傳統協議棧的多次拷貝；多機之間使用QP(queue?pair)和MR(memory?region)來進行數據交換。基于零拷貝、內核旁路等特性，使得RDMA擁有高吞吐和低延時的特性。Fork在本文表示分叉、克隆的意思。

虛擬機是一種在單臺物理機器上面模擬出多臺虛擬機器的技術。每個虛擬機都有自己的CPU、內存、磁盤等等資源；不同虛擬機之間相互隔離，互相無法訪問對方的資源。虛擬機技術在云計算的場景下有著廣泛的應用。例如，云平臺通過虛擬機來隔離不同租戶的運行環境與計算資源。

然而，相對于虛擬機的強隔離性，虛擬機的啟動時延也比較大，給云服務提供商帶來了額外的時間開銷。例如，在某些突發大量請求的場景下，平臺有時會在多臺物理機上面啟動多個相同的虛擬機實例用來處理海量的請求，即云服務的彈性擴容。在這個情況下，虛擬機的啟動時延會成為比較大的瓶頸。在突發大量請求時，請求的處理時間會有較大的波動。

為了處理這個問題，一些平臺引入了分布式Fork的接口。類似于Linux中的Fork系統調用接口，該接口將Fork的概念擴展到了分布式環境中。通過該接口，系統可以跨物理機Fork虛擬機。在需要彈性擴容時，不同物理機通過分布式Fork接口，直接Fork啟動所需擴容的虛擬機。由于Fork啟動可以復用原來的實例的內存內容，因此無需從頭開始初始化實例，降低了啟動時間開銷。

CN106775956A(申請號：CN201710026549.1)公開了一種Xen虛擬機Fork機制建立方法。主要步驟：啟動xen系統，在Xen內核的libxl模塊主函數中，設置兩個進程；父DomU構建完成并啟動起來，讀取Xenstore中自身DomU下的is_parent標志位，判斷若等于1，執行父DomU的fork操作；子DomU構建完成并啟動起來，讀取Xenstore中自身DomU下的is_parent標志位，判斷等于0，執行子DomU的操作；子DomU讀取Xenstore中授權表下標和頁內偏移、寄存器狀態值和要執行的函數名稱，映射授權頁面，恢復寄存器狀態，然后執行函數。

目前，分布式Fork已有一些實現方案。一種是先將虛擬機實例進行打包，之后將打包的虛擬機狀態及內存鏡像文件通過網絡分發到各個機器上面，隨后各個機器進行恢復。這個方法的缺點是：傳輸內存鏡像時需要傳輸全量的文件，會帶來比較大的網絡開銷。但實際虛擬機運行后，會訪問的內存頁面只有一部分。因此事實上無需全部傳遞全量的內存鏡像。另一種實現方案通過修改操作系統內核，將虛擬機的內存地址通過RDMA直接映射到對面的內存上面；在虛擬機訪問內存時，按需從對面的機器通過RDMA讀取內存。相對于前一種方案，這種方案無需完整地傳輸內存鏡像文件，實現了按需讀取的功能。然而，該方案需要對操作系統內核進行修改，可移植性不佳。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于RDMA的虛擬機分布式Fork方法。