[發明專利]基于公有云的應用程序協同配置系統、方法及設備

在審

• 申請號: 202210590110.2
• 申請日: 2022-05-26
• 公開（公告）號: CN115061775A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 陳全;過敏意;龐浦
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 龐紅芳

本發明提供一種基于公有云的應用程序協同配置系統、方法及設備，所述基于公有云的應用程序協同配置系統包括：硬盤IO帶寬分配模塊，用于周期性地監視每個虛擬機的IO帶寬使用情況，并基于虛擬機的IO帶寬使用情況分配調整虛擬機的帶寬；IO機制參數調優模塊，用于基于虛擬機的帶寬調整虛擬機的客戶操作系統中的IO機制參數。本發明幫助各個IO密集型應用程序取得更高的性能，以此實現整體吞吐提高，本發明建立了迭代式軟硬件協同配置運作框架，設計了無需入侵用戶應用程序的參數調優方法，在無需升級硬件設備與不增加云服務提供商額外負擔的提前下，提高了多租戶公有云的整體吞吐。

技術領域

本發明涉及云計算技術領域，特別是涉及云計算資源分配技術領域。

背景技術

由于數據呈現爆炸性增長，人類對計算的需求大大增加并且希望隨時隨地獲取，這直接推動了云計算的蓬勃發展，云計算也成為數字經濟時代的新型信息基礎設施。公有云(public clouds)是云計算中的一種重要商業模式，用戶通常向云計算服務提供商租用既定硬件規格且預裝操作系統的虛擬機(Virtual Machine,VM)，并在虛擬機中部署運行自己的應用程序。據國際數據公司(International Data Corporation，IDC)發布的《全球及中國公有云服務市場(2020年)跟蹤》報告顯示，2020年中國公有云服務整體市場規模達到193.8億美元，同比增長49.7％，為全球各區域中增速最高。其中，數據庫、大數據分析等IO密集型應用程序(需頻繁讀寫硬盤中的文件)是公有云中的重要業務。

為提高資源利用率，云計算服務提供商通常將多臺虛擬機同時混合部署到一臺物理服務器上，這些虛擬機將共享物理服務器上的硬件資源。除了CPU數量、內存容量、硬盤容量等用戶顯式購買的資源外，CPU緩存容量、硬盤IO帶寬等資源將在多臺虛擬機之間根據使用情況動態分配。然而，在這種情況下，IO密集型應用程序往往不能取得最佳性能。這是因為這類應用程序的性能同時受兩個因素的影響：操作系統IO機制參數、硬盤IO帶寬分配量。在調整虛擬機的IO帶寬分配量的同時，操作系統IO機制參數的調整被忽視。而最佳操作系統IO機制參數的設置是復雜的，它受應用程序自身讀寫特征的影響，且在不同的IO帶寬分配量下最佳值也不同。

值得指出的是，公有云環境下用戶隱私需要嚴格保護，所應用的技術方案須在不入侵用戶程序且不獲取用戶程序具體運行情況的基礎上，依然能夠良好運作。

現有技術中，GIFT系統能夠識別IO空閑的虛擬機，將其中多余的IO帶寬轉移到IO繁忙的虛擬機上，以提高整體吞吐量。同時，被減少帶寬的虛擬機將獲得其他資源的補償，以確保公平性。但這種方式中，在調整IO帶寬分配量的同時，沒有考慮操作系統IO機制參數的同時調整，無法最大化IO密集型應用程序的性能。

現有還有一些技術專注于IO密集型應用程序內部參數的調優，如針對MapReduce框架的參數調優、針對數據庫內存池參數的調優等，能夠提高特定應用程序的性能。但這種方式沒有考慮公有云中硬件資源分配量的動態變化，無法最大化IO密集型應用程序的性能；需要入侵用戶程序，無法滿足隱私保護的需求。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種基于公有云的應用程序協同配置系統、方法及設備，用于在不入侵用戶程序且保證公平性的基礎上，盡可能地提高每個虛擬機的性能以實現整體吞吐量最大化。

為實現上述目的及其他相關目的，本發明提供一種基于公有云的應用程序協同配置系統，包括：硬盤IO帶寬分配模塊，用于周期性地監視每個虛擬機的IO帶寬使用情況，并基于虛擬機的IO帶寬使用情況分配調整虛擬機的帶寬；IO機制參數調優模塊，用于基于虛擬機的帶寬調整虛擬機的客戶操作系統中的IO機制參數。

于本發明的一實施例中，所述基于虛擬機的IO帶寬使用情況分配調整虛擬機的帶寬包括：將利用率低于最低閾值的虛擬機確定為空閑虛擬機，并從所述空閑虛擬機處回收IO帶寬；將利用率高于最高閾值的虛擬機確定為繁忙虛擬機，并為所述繁忙虛擬機分配額外增加的帶寬。