[發(fā)明專利]一種基于數(shù)據(jù)壓縮的可擴(kuò)展的監(jiān)控方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310102333.0
• 申請日: 2013-03-27
• 公開（公告）號: CN103226572A
• 公開（公告）日: 2013-07-31
• 發(fā)明（設(shè)計(jì)）人: 王博;孫毓忠;楊慶林
• 申請（專利權(quán)）人: 中國科學(xué)院計(jì)算技術(shù)研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國;梁揮

技術(shù)領(lǐng)域

本發(fā)明涉及大規(guī)模分布式系統(tǒng)的監(jiān)控領(lǐng)域，具體涉及到一種基于數(shù)據(jù)壓縮的可擴(kuò)展的監(jiān)控方法及系統(tǒng)。

背景技術(shù)

為了有效的管理分布式計(jì)算系統(tǒng)，操作者必須了解當(dāng)前系統(tǒng)及應(yīng)用的行為。這就需要不間斷的進(jìn)行監(jiān)控以提供給操作者該系統(tǒng)的當(dāng)前狀態(tài)。當(dāng)計(jì)算機(jī)系統(tǒng)的結(jié)點(diǎn)規(guī)模擴(kuò)展時(shí)，系統(tǒng)中的任何位置都可能變成瓶頸。因此，一個(gè)監(jiān)控系統(tǒng)應(yīng)該具有良好的可擴(kuò)展性，以提供實(shí)時(shí)的監(jiān)控?cái)?shù)據(jù)。

數(shù)據(jù)收集時(shí)間間隔的粒度是監(jiān)控系統(tǒng)的一個(gè)挑戰(zhàn)。若時(shí)間粒度太粗，則獲取的信息不能實(shí)時(shí)的描述出計(jì)算系統(tǒng)當(dāng)前狀態(tài)；若時(shí)間粒度太細(xì)，會增加計(jì)算系統(tǒng)的負(fù)載，使監(jiān)控系統(tǒng)的擴(kuò)展性降低。而且，同一個(gè)時(shí)間粒度，對一些度量可能太粗，但對其他的一些度量可能又太細(xì)。所以一個(gè)監(jiān)控系統(tǒng)中，時(shí)間粒度的選取依賴于度量特性。

現(xiàn)有技術(shù)中存在一個(gè)用于分布于全球的計(jì)算機(jī)群（PlanetLab）的監(jiān)控系統(tǒng)CoMon。CoMon是以中心化結(jié)構(gòu)組織的，其實(shí)現(xiàn)包括兩個(gè)守護(hù)程序：切片中心守護(hù)程序（Slice-centric?daemon,SCD）和結(jié)點(diǎn)中心守護(hù)程序（Node-centric?daemon,NCD）。每個(gè)結(jié)點(diǎn)上均運(yùn)行著SCD和NCD，SCD聚集每個(gè)切片中所有進(jìn)程消耗的資源。NCD通過操作系統(tǒng)提供或其他工具測量獲取所在結(jié)點(diǎn)的狀態(tài)信息。用戶可以通過網(wǎng)絡(luò)瀏覽器進(jìn)行訪問這些數(shù)據(jù)。每5分鐘進(jìn)行收集所有結(jié)點(diǎn)的信息，并將該信息寫入相應(yīng)的文件中。然而，中心化的結(jié)構(gòu)限制了監(jiān)控系統(tǒng)的擴(kuò)展性。而且5分鐘的時(shí)間粒度對有些指標(biāo)太粗，而對另一些指標(biāo)又太細(xì)。

現(xiàn)有技術(shù)中的Chukwa是一個(gè)監(jiān)控和分析大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)。Chukwa是在Hadoop（一個(gè)開源分布式系統(tǒng)且在其上實(shí)現(xiàn)了MapReduce:一種用于大規(guī)模并行計(jì)算的編程模型）上層進(jìn)行實(shí)現(xiàn)，且保留這Hadoop的擴(kuò)展行和健壯性。Chukwa是通過采集器和收集器來實(shí)現(xiàn)數(shù)據(jù)的收集的。收集器收集其所在結(jié)點(diǎn)上的狀態(tài)信息，包括Hadoop日志和任務(wù)進(jìn)度等。每個(gè)收集器收集來自數(shù)百個(gè)主機(jī)的數(shù)據(jù)，并將其全部寫入由數(shù)據(jù)塊和表示塊來源及格式的元數(shù)據(jù)組成的單個(gè)文件（sink?file,SF）。收集器定期的關(guān)閉他們的SF，并將其重命名以標(biāo)記為可處理，并重新寫新的SF。然后Hadoop周期性的執(zhí)行兩個(gè)MapReduce作業(yè)：第一個(gè)作業(yè)是僅將所有的SF進(jìn)行存檔；第二個(gè)作業(yè)是將存檔的數(shù)據(jù)解析為結(jié)構(gòu)化數(shù)據(jù)，并保存到Hadoop分布式文件系統(tǒng)（HDFS）。然后用戶可以以MapReduce作業(yè)的形式對這些結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。Chukwa依賴于Hadoop平臺，關(guān)注的是大量日志文件的分析。

而現(xiàn)有技術(shù)中還存在一個(gè)用于大規(guī)模并行和分布式計(jì)算環(huán)境的監(jiān)控系統(tǒng)，該系統(tǒng)也是以層次結(jié)構(gòu)進(jìn)行監(jiān)控。該系統(tǒng)主要包括三個(gè)層次：后端進(jìn)程（Back-end?process,BE）、中間進(jìn)程和前端進(jìn)程（Front-end?process,FE）。BE運(yùn)行在需要監(jiān)控的節(jié)點(diǎn)上，進(jìn)行數(shù)據(jù)的收集，然后將數(shù)據(jù)發(fā)送給中間進(jìn)程或直接發(fā)送給FE；中間進(jìn)程對數(shù)據(jù)進(jìn)行聚集、分析和過濾。然后將處理后的數(shù)據(jù)發(fā)送給FE；FE將接收到的數(shù)據(jù)存入數(shù)據(jù)庫或直接顯示在前臺，用戶可以使用結(jié)構(gòu)化查詢語言（Structured?Query?Language,SQL）訪問數(shù)據(jù)庫，以獲得計(jì)算環(huán)境的歷史狀態(tài)。該監(jiān)控系統(tǒng)內(nèi)部通信使用的是自定義的格式，與ganglia系統(tǒng)相比，減少了由XML格式增加的傳輸量。但該監(jiān)控系統(tǒng)收集數(shù)據(jù)的時(shí)間粒度由用戶自己指定，而且沒有考慮不同度量所需時(shí)間粒度的不同。