[發明專利]一種基于峰值預測的云計算集群監控方法及系統

在審

• 申請號: 201911304713.6
• 申請日: 2019-12-17
• 公開（公告）號: CN111190790A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 伍衛國;孫嵐子;康益菲;楊曉曦;劉釗華;李禎華
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

1.一種基于峰值預測的云計算集群監控系統，其特征在于，包括：

數據采集端，負責各個節點服務器系統性能信息、服務以及Docker容器、Ceph分布式文件系統等的采集，通過周期性地對當前節點服務器的CPU利用率、內存利用率、磁盤使用率、服務狀態和日志、Docker容器的資源占用情況、Ceph運行狀態及集群信息等進行動態采集；

數據發送和接收端，負責發送數據采集端收集的各類信息到管理節點，數據發送和接收端運行在管理節點上，監聽和接收各節點服務器發送的實時數據；

數據存儲端，采用whisper作為存儲后端，使用時序數據庫存儲管理節點收到的數據。

2.根據權利要求1所述的系統，其特征在于，數據采集端包括CPU收集子模塊、內存收集子模塊、I/O收集子模塊、磁盤收集子模塊、Ceph子模塊、服務子模塊和Docker容器子模塊。

3.根據權利要求2所述的系統，其特征在于，CPU收集子模塊用于收集節點CPU的實時狀態，讀取/proc/stat文件，/proc/stat文件包含了所有CPU活動的信息，該文件中的所有值從系統啟動開始累計到當前時刻；內存收集子模塊用于收集節點的實時內存信息，讀取/proc/stat文件；I/O收集子模塊用于收集集群的I/O狀態，讀取/proc/diskstats文件；磁盤收集子模塊用于收集集群的磁盤信息，讀取/proc/diskstats文件；Ceph子模塊用于對Ceph分布式文件系統狀態的監測；服務子模塊用于對系統中apache服務器進程進行檢測；Docker容器子模塊用于對Docker容器的CPU使用率、內存使用狀況、網絡流量進行監測。

4.根據權利要求1所述的基于峰值預測的云計算集群監控方法及系統，其特征在于，數據發送和接收端包括：

發送子模塊，基于socket編程，當前發送子模塊把收集的數據不斷通過TCP/IP協議發送到接收模塊，其中的發送的消息的格式為metric pathmetric valuemetrictimestamp，叫做指標項，指標項是一種隨著時間不斷變化的可度量的數量；

接收子模塊，基于Twisted網絡庫實現，接收子模塊接收通過各種協議傳輸來的指標項數據并寫入磁盤；在接收到指標項時，將指標項值緩存在RAM中，并用底層的Whisper庫按照指定的時間間隔寫入磁盤，接收到消息以后，轉換消息格式傳遞給存儲模塊。

5.一種基于峰值預測的云計算集群監控方法，其特征在于，利用權利要求1所述的系統，包括以下步驟：

S1、使用基于三次指數平滑法的時間序列預測算法，對同時含有趨勢和季節性的時間序列進行預測，設定每個類型指標的閾值；

S2、使用道格拉斯-普克算法將曲線近似表示為一系列點，提取峰值和提前設定的各個指標的閾值進行比較；

S3、結合監控的數值指標，對集群中是否有節點即將出現故障的狀況進行預測。

6.根據權利要求5所述的方法，其特征在于，步驟S1中，預測模型為：

其中，為t+T周期的預測值，及t周期的三次指數平滑值，a_t、b_t以及c_t為預測模型平滑系數，T為周期，為一次指數平滑值，為二次指數平滑值，為三次指數平滑值。

7.根據權利要求5所述的方法，其特征在于，步驟S2中，使用道格拉斯-普克算法具體為：

S201、在曲線首尾兩點A，B之間連接一條直線AB，該直線為曲線的弦；

S202、得到曲線上離該直線段距離最大的點C，計算其與AB的距離d；

S203、比較該距離與預先給定的閾值threshold的大小，如果小于threshold，則該直線段作為曲線的近似，該段曲線處理完畢；

S204、如果距離大于閾值，則用C將曲線分為兩段AC和BC，并分別對兩段取信進行1～3的處理；

S205、當所有曲線都處理完畢時，依次連接各個分割點形成的折線，作為曲線的近似。