[發明專利]基于集群計算的管理與監控系統

有效

• 申請號: 202011247279.5
• 申請日: 2020-11-10
• 公開（公告）號: CN112069036B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 周會群;王玲
• 申請（專利權）人: 南京信易達計算技術有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/901;G06F16/906;G06F16/953
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 蔣真

本發明屬于數據集群計算技術領域，尤其涉及基于集群計算的管理與監控系統，包括數據篩選模塊、分類歸檔模塊和在線計算分析模塊，數據篩選模塊用于篩選特征值和大數據網絡中的數據，分類歸檔模塊用于將大數據分類歸檔，在線計算分析模塊用于分析計算數據。本發明根據實時捕捉到的樣本來計算樣本中的數據的關注度，最后根據樣本了解總數的變化情況，獲取數據總體的關注度的實時變化情況。

技術領域

本發明屬于數據集群計算技術領域，具體為基于集群計算的管理與監控系統。

背景技術

集群計算技術是一種較新的技術，通過集群技術，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益，其任務調度則是集群系統中的核心技術。集群是一組相互獨立的、通過高速網絡互聯的計算機，它們構成了一個組，并以單一系統的模式加以管理。一個客戶與集群相互作用時，集群像是一個獨立的服務器。集群配置是用于提高可用性和縮放性。

由于現如今許多數據處理應用要有很強的運算處理能力，現有的技術就算大型計算機也很難勝任，同時現如今的對于集群計算數據的管理和監控也不到位，無法準確的了解實時的數據計算查詢情況。鑒于此，我們提出基于集群計算的管理與監控系統。

發明內容

本發明的目的在于提供基于集群計算的管理與監控系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

基于集群計算的管理與監控系統，包括數據篩選模塊、分類歸檔模塊和在線計算分析模塊，其特征在于：所述數據篩選模塊用于篩選特征值和大數據網絡中的大數據，所述分類歸檔模塊用于將大數據分類歸檔，所述在線計算分析模塊用于在線監控對數據進行分析計算。

優選的，所述數據篩選模塊包括特征值推薦單元、特征值建立單元和特征值匹配單元，所述數據篩選模塊包括特征值推薦單元、特征值建立單元和特征值匹配單元，所述特征值推薦單元用于篩選點擊率高的特征值，所述特征值推薦單元的計算公式為：

；

其中， 為網絡大數據，為關鍵詞，是關鍵詞在數據中出現次數，為關鍵詞被用作關鍵詞進行搜索的次數。

優選的，所述特征值建立單元用于自定義添加用于篩選的特征值，所述特征值包括特征值推薦單元計算推薦的特征值和用戶選取的特征值。

優選的，所述特征值匹配單元用于根據特征值篩選出數據，所述特征值匹配單元的計算公式為：

其中，為匹配的所需數據，為整體大數據，為用戶添加用于篩選數據的特征值。

優選的，所述分類歸檔模塊包括特征值分類單元和數據分類單元，所述特征值分類單元用于將特征值依據數據種類進行分類，所述數據分類單元用于根據特征值類別對數據進行分類。

優選的，所述分類歸檔模塊的工作步驟為：

步驟S1：分類歸檔模塊設有存儲單元，存儲單元用于存儲特征值；

步驟S2：特征值分類單元根據數據類別將特征值分類；

步驟S3：數據分類單元根據分類好的特征值對數據分類再存儲在存儲單元中；

步驟S4：完成分類之后再將數據上傳到大數據中心進行保存。

優選的，所述在線計算分析模塊包括關注度評估單元、等級評估單元和實時分析單元。

優選的，所述關注度評估單元用于計算大數據對應的關注度，所述關注度評估單元計算關注度的計算公式為：

；

其中，為數據的特征值，為用于實時網絡搜索的搜索關鍵詞，為在線總人數，為在線搜索數據的人數。