[發(fā)明專利]一種無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法

有效

• 申請?zhí)枺?/td>: 201210253237.1
• 申請日: 2012-07-20
• 公開（公告）號: CN102819478A
• 公開（公告）日: 2012-12-12
• 發(fā)明（設計）人: 李然;陳小來;劉學斌;胡炳樑;李蕓
• 申請（專利權）人: 中國科學院西安光學精密機械研究所
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 陳廣民

技術領域

本發(fā)明涉及一種計算機數(shù)據(jù)處理系統(tǒng)監(jiān)控方法。

背景技術

對于某些結(jié)構(gòu)和功能較為復雜的處理系統(tǒng)，對性能要求較高，監(jiān)控系統(tǒng)不能影響節(jié)點的性能，并能夠開啟和關閉所有節(jié)點上的數(shù)據(jù)處理進程，除此之外，每個處理節(jié)點的監(jiān)控要求是不同，按照處理流程分別說明如下：

1）數(shù)據(jù)緩存節(jié)點。通過網(wǎng)絡接收外部數(shù)據(jù)到緩存區(qū)，并從緩存區(qū)中取出數(shù)據(jù)發(fā)送給下一個節(jié)點，要求接收速度穩(wěn)定平滑，波動較小。要求監(jiān)控系統(tǒng)能定時監(jiān)控此節(jié)點的網(wǎng)絡輸入輸出速度，以及CPU、內(nèi)存、硬盤的狀態(tài)信息；

2）數(shù)據(jù)預處理節(jié)點。接收來自緩存節(jié)點的數(shù)據(jù)，將數(shù)據(jù)分類并進行格式化處理，處理完畢后按照分類存儲到磁盤，并同時按照數(shù)據(jù)類型分發(fā)送給一個集群解壓縮系統(tǒng)。要求監(jiān)控系統(tǒng)能夠定時監(jiān)控此節(jié)點的不同數(shù)據(jù)類型的網(wǎng)絡輸出速度、節(jié)點的CPU及內(nèi)存占有量、磁盤空間余量，并能夠顯示預處理進程產(chǎn)生的日志信息；

3）集群解壓縮節(jié)點。接收來自預處理節(jié)點的數(shù)據(jù)，分類解壓縮后存儲并發(fā)送給下一個節(jié)點，由若干臺服務器通過松散耦合方式的連接組成集群服務器，來并行處理解壓縮任務，根據(jù)解壓縮性能需求的變化，服務器數(shù)量是可擴展的，集群解壓縮節(jié)點執(zhí)行任務期間處于高負荷運行，CPU和I/O系統(tǒng)都處于較高的占有率。要求監(jiān)控系統(tǒng)不能影響其性能，并能隨著集群服務器數(shù)量變化而靈活配置，監(jiān)控系統(tǒng)需要定時監(jiān)控每臺服務器的CPU、內(nèi)存、磁盤余量，能夠顯示每臺服務器上的解壓縮進程產(chǎn)生的日志信息；

4）數(shù)據(jù)顯示節(jié)點。接收集群解壓縮節(jié)點的解壓縮數(shù)據(jù)，并將其圖像進行顯示，按照靈活性要求，所有數(shù)據(jù)類型既可以一臺PC機上顯示，也可以在多臺PC機上顯示。要求監(jiān)控系統(tǒng)能夠顯示節(jié)點進程產(chǎn)生的日志信息，并在無需修改的情況下，能夠監(jiān)控多個顯示節(jié)點。

總體而言，監(jiān)控系統(tǒng)所要實現(xiàn)的功能包括：監(jiān)控CPU、內(nèi)存、磁盤、網(wǎng)絡接口資源利用率，啟動和關閉每個節(jié)點的進程以及顯示日志信息。此外，要求監(jiān)控系統(tǒng)不能影響節(jié)點的性能，并能滿足節(jié)點個性化的監(jiān)控需求。

針對計算機CPU、內(nèi)存、磁盤及網(wǎng)絡接口的監(jiān)控，眾所周知，目前的監(jiān)控方式是一種基于“代理”的入侵式監(jiān)控架構(gòu)，所謂的“代理”就是在被監(jiān)控計算機上安裝的一種額外的軟件或服務，對被監(jiān)控的計算機而言就是一種入侵，在安裝并配置好“代理”后，這些“代理”會通過本地操作系統(tǒng)獲取監(jiān)控信息，定時或不定時的通過網(wǎng)絡向控制臺發(fā)送監(jiān)控信息。圖1是基于“代理”的監(jiān)控方法的原理圖。

從圖1中可以看出，應用“代理”方式進行某遙感數(shù)據(jù)處理系統(tǒng)監(jiān)控時，不能很好的滿足監(jiān)控需求，具體表現(xiàn)在：

1）無法滿足不影響系統(tǒng)性能的需求。代理程序往往以較低的優(yōu)先級和較少的資源消耗在后臺運行，正常情況下對計算機的影響很小，但當系統(tǒng)處于高負荷運轉(zhuǎn)時，對“代理”的活動變得敏感，容易引起系統(tǒng)的性能波動，如果“代理”本身存在缺陷，則會嚴重影響性能并導致監(jiān)控管理失敗；

2）部署、配置以及維護和升級困難。隨著數(shù)據(jù)處理系統(tǒng)規(guī)模的擴展，每個節(jié)點的每臺服務器都要安裝“代理”并設定監(jiān)控信息，特別是每臺服務器的監(jiān)控需求不同時，設置監(jiān)控信息的工作量巨大。在升級和維護時，如果監(jiān)控信息類型發(fā)生變化，那么需要同時修改主監(jiān)控和監(jiān)控代理，花費時間多，靈活性差，維護成本高；

3）監(jiān)控系統(tǒng)的設計較為復雜。復雜性主要體現(xiàn)在主監(jiān)控和代理的通信協(xié)議設計上，主監(jiān)控需要首先對被監(jiān)控目標進行網(wǎng)絡連接，然后按照預定格式封裝監(jiān)控和管理指令，最后通過網(wǎng)絡發(fā)送給代理，代理在接收到指令后，要根據(jù)預定協(xié)議解析指令，在指令執(zhí)行完畢后，按照協(xié)議給主監(jiān)控發(fā)送回復，由于整個監(jiān)控常常是短時的定時機制，所以導致網(wǎng)絡通信頻繁。

目前的數(shù)據(jù)處理監(jiān)控系統(tǒng)不能很好的滿足需求，需要設計有針對性的監(jiān)控和管理系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明構(gòu)建了一種輕量級的監(jiān)控與管理系統(tǒng)，是一種無代理非入侵式的監(jiān)控與管理方法，僅在一臺與數(shù)據(jù)處理系統(tǒng)互聯(lián)互通的PC機上部署和運行即可，監(jiān)控和管理簡單有效，無論是配置、運行、維護還是升級都僅在這一臺PC上進行，并滿足所有監(jiān)控需求；克服了背景技術基于代理的監(jiān)控方法存在的缺點。

本發(fā)明的方案是基于以下研究分析得出的。