[發明專利]一種基于資源解耦的大數據系統性能評估方法

在審

• 申請號: 201710542422.5
• 申請日: 2017-07-05
• 公開（公告）號: CN107346281A
• 公開（公告）日: 2017-11-14
• 發明（設計）人: 孟小峰;楊晨
• 申請（專利權）人: 中國人民大學
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京紀凱知識產權代理有限公司11245
• 代理人: 徐寧,孫楠

技術領域

本發明涉及一種大數據系統性能評估方法，特別是關于一種基于資源解耦的大數據系統性能評估方法。

背景技術

以往工作已經廣泛地研究了如何量化大數據系統的部件影響，包括兩個分支。一些工作是量化軟件框架部件的影響以分析時間開銷。MapReduce和Spark中主要組成部分的性能比較為源代碼添加了定時器來提供執行時間分解，并分析了隨機訪問，執行模型和緩存的性能。Hadoop的基于成本的性能模型通過描述細粒度的執行來預測MapReduce作業的性能，而Starfish可以使用自調節系統。

其他工作就是量化硬件資源的影響來分析哪個部件是瓶頸.R的運行時間配置將收集計數器添加到R源代碼中，分析處理器和內存使用特性。Spark的阻塞時間分析方法消除了磁盤和網絡I/O，以便在磁盤或網絡無限快的情況下獲得兩個最大加速。

大數據系統的性能總是受到CPU、內存、磁盤和網絡的影響，為了量化這些部件對性能的影響，進行系統瓶頸分析非常重要。但是最先進的部件耦合方法卻只能某些部件的影響，如磁盤和網絡，并且結果還容易出錯。

發明內容

針對上述問題，本發明的目的是提供一種基于資源解耦的大數據系統性能評估方法，該方法能動態解耦CPU，內存，磁盤和網絡四大部件，能確保定量影響因素之間相互比較，量化了密集度。

為實現上述目的，本發明采取以下技術方案：一種基于資源解耦的大數據系統性能評估方法，其特征在于包括以下步驟：1)形式化不同的硬件集合：假設當前集群下，CF＝{c₁,c₂,…,c_l}為同一處理器的不同頻率升序集合，并選取最小值c₁作為參考頻率，即提高CPU頻率查詢所獲得的性能提升是相對于c₁頻率的，c_l為該處理器最大CPU頻率，l為CF集合可選的CPU頻率個數；同理定義DB＝{d₁,d₂,…,d_m}為可選的硬盤集合，其中d₁作為參考，d_m為最大硬盤帶寬，m為DB集合可選的硬盤帶寬個數；NB＝{n₁,n₂,…,n_z}為可選的網絡集合，其中n₁作為參考，n_z為最大網絡帶寬，z為NB集合可選的網絡帶寬個數；2)定義CPU、硬盤和網絡升級后所帶來的加速；3)根據CPU、硬盤和網絡升級后所帶來的加速確定各自量化瓶頸，即確定各自密集度模型，通過密集度模型評估各自的密集度，完成大數據系統性能評估。

進一步，所述步驟2)中，定義Runtime(c,d,n)為某查詢在指定硬件配置下的運行時間，若CPU頻率提升到c_i且其他部件保持不變，那么查詢所獲得的CPU加速CS為：

其中，CS∈[0,1)，且CS越接近1代表查詢性能提升越高。

進一步，所述步驟2)中，定義Runtime(c,d,n)為某查詢在指定硬件配置下的運行時間，如果僅升級硬盤到d_j，定義升級硬盤后查詢所獲得的加速DS為：

其中，DS∈[0,1)。

進一步，所述步驟2)中，定義Runtime(c,d,n)為某查詢在指定硬件配置下的運行時間，僅升級網絡到n_k，定義更快的網絡使查詢所獲得的加速NS為：

其中，NS∈[0,1)。

進一步，通過CPU升級后所帶來的加速CS定義CPU量化瓶頸CID為：

其中，l為可選的CPU頻率個數，且CID∈[0,1]，d為一種任意的硬盤帶寬環境，n為一種任意的網絡帶寬環境；對于頻率c_i，如果CS(c_i,d,n)＝1-c₁/c_i，則CID＝1代表查詢為完全計算密集的；相反，如果CS(c_i,d,n)＝0，則CID＝0代表升級CPU對查詢的性能的提高無效，此時查詢為完全非計算密集的。

進一步，在當前集群環境下，量化硬盤瓶頸DID為：

其中，m是可選硬盤的個數，如CID性質一致則DID∈[0,1]，硬盤瓶頸越高，DID越趨近于1，反之亦然。

進一步，當前集群環境下，網絡瓶頸NID為：