[發(fā)明專利]基于瓶頸資源定位及參數(shù)調(diào)優(yōu)的大數(shù)據(jù)平臺測試方法

在審

• 申請?zhí)枺?/td>: 202110692336.9
• 申請日: 2021-06-22
• 公開（公告）號: CN113495840A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設計）人: 李紅輝;張駿溫;王睿;楊秀杰;王文浩
• 申請（專利權）人: 北京交通大學
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F11/30;G06F9/50
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 姜威

1.一種基于瓶頸資源定位及參數(shù)調(diào)優(yōu)的大數(shù)據(jù)平臺測試方法，其特征在于，包括：

S1將開源工具與大數(shù)據(jù)平臺集成后對大數(shù)據(jù)平臺進行資源的日常監(jiān)控；

S2根據(jù)日常監(jiān)控資源計算各資源的信息增益率；

S3根據(jù)所述信息增益率，基于改進信息增益的瓶頸資源定位方法定位出導致大數(shù)據(jù)平臺出現(xiàn)性能瓶頸的瓶頸資源；

S4根據(jù)定位的瓶頸資源，基于敏感度篩選出調(diào)優(yōu)參數(shù)集；

S5利用自動化腳本對調(diào)優(yōu)參數(shù)集的參數(shù)進行修改，得到最優(yōu)的參數(shù)配置。

2.根據(jù)權利要求1所述的方法，其特征在于，所述開源工具為Ganglia。

3.根據(jù)權利要求1所述的方法，其特征在于，所述將開源工具與大數(shù)據(jù)平臺集成包括：

安裝相關組件：在每一個被監(jiān)控節(jié)點和主控節(jié)點安裝Ganglia工具及其相關組件；在每一個被監(jiān)控節(jié)點安裝Gmond來收集資源使用信息，在主監(jiān)控節(jié)點安裝Gmetad來收集gmond節(jié)點廣播的數(shù)據(jù)信息的同時還需要安裝RRDTool來存儲收集的相關數(shù)據(jù)，安裝Gweb以圖形的方式顯示數(shù)據(jù)信息；

對Ganglia進行配置：

對于主監(jiān)控節(jié)點修改gmetad.conf文件中的數(shù)據(jù)源相關的參數(shù)，主要包括集群名稱、監(jiān)控服務的地址和端口；對于被監(jiān)控節(jié)點，修改gmond.conf文件，其中該配置文件中的集群名稱參數(shù)與gmeta.conf保持一致，從而保證主從節(jié)點共同服務；

修改大數(shù)據(jù)平臺的相關配置文件：

修改Hadoop的配置文件hadoop-metrics2.properties和Hbase的配置文件hadoop-metrics2.properties，使得Ganglia從細粒度地監(jiān)控Hadoop和Hbase地相關信息。

4.根據(jù)權利要求1所述的方法，其特征在于，所述計算各資源的信息增益率，包括：

S41將Ganglia工具收集負載執(zhí)行時間段的各種資源的利用率數(shù)據(jù)離散化；

S42計算離散化后各個數(shù)據(jù)集的信息熵以及各個數(shù)據(jù)集劃分的數(shù)據(jù)子集的信息熵，然后計算每種資源的信息增益；

S43定義資源a在資源數(shù)據(jù)總集合D中的信息熵IV(D,a)，然后在IV(D,a)的基礎上定義按資源a劃分資源數(shù)據(jù)集合D的信息增益率。

5.根據(jù)權利要求1所述的方法，其特征在于，所述基于改進信息增益的瓶頸資源定位方法，包括：在執(zhí)行測試時不斷加大大數(shù)據(jù)平臺負載的壓力，同時收集相關資源利用率數(shù)據(jù)，在大數(shù)據(jù)平臺性能出現(xiàn)瓶頸后，將采集到的資源利用率和時間滿意度離散化，計算各個資源的信息增益率，最后將具有最高信息增益率的資源作為該負載的瓶頸資源。

6.根據(jù)權利要求1所述的方法，其特征在于，所述S5由選定參數(shù)集合、輸入?yún)?shù)值列表、自動修改參數(shù)腳本和剪枝策略步驟得到。

7.根據(jù)權利要求6所述的方法，其特征在于，所述剪枝策略包括：

記錄默認參數(shù)配置下的負載執(zhí)行時間T0；

當其他參數(shù)配置下，如果負載執(zhí)行時間小于T0，則將時間合對應的參數(shù)配置記錄到結果文件中；如果負載執(zhí)行到T0時刻還未執(zhí)行完畢，不再繼續(xù)執(zhí)行測試，對應的負載時間做統(tǒng)一的特殊記錄，不再繼續(xù)等待該負載執(zhí)行結束，直接進行下一次參數(shù)配置下的測試；

當所有參數(shù)集合都完成配置且測試結束后，從記錄測試結果的文件中找出最短執(zhí)行時間的參數(shù)配置，即為選定參數(shù)集合中的最優(yōu)配置。