[發明專利]一種基于云計算的高校大數據競賽管理系統及方法

在審

• 申請號: 202010700937.5
• 申請日: 2020-07-20
• 公開（公告）號: CN111930469A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 海克洪;楊俊
• 申請（專利權）人: 湖北美和易思教育科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50;G06N3/00;G06Q50/20
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 李季

本發明公開一種基于云計算的高校大數據競賽管理系統及方法，所述系統包括：身份管理模塊：用于對大數據競賽平臺的用戶進行賬號管理、權限分配；競賽管理模塊：用于賽項時間管理、實驗操作管理；集群管理模塊：用于提供競賽所需的各類實驗集群的創建、銷毀、掛起、恢復、一鍵回收；資源調度模塊：用于基于學生選取的各類實驗集群，采用模擬退火算法與粒子群優化算法相結合的方式對物理資源進行虛擬化和調度，為大數據競賽平臺提供云端實驗資源；資源監聽模塊：用于按固定時間間隔監聽資源調度模塊下資源占用情況并將監聽結果反饋至資源調度模塊。本發明可提供多組真實的大數據模擬競賽環境，同時減少資源浪費。

技術領域

本發明涉及資源分配領域，尤其涉及一種基于云計算的高校大數據競賽管理系統及方法。

背景技術

隨著互聯網和信息產業的快速發展，大數據應用市場不斷擴大，大數據作為國家戰略，在推動我國經濟轉型升級過程中發揮著關鍵作用。大數據是我國重點發展的戰略新興產業中新一代信息技術產業的細分行業之一,預計到2020年，大數據產業規模將超過5000億元。

為適應我國大數據產業發展對相關人才的迫切需求，進一步引導高校大數據分析應用人才培養體系的構建，各種大數據技術應用、開發創新、能力提升等競賽如雨后春筍般應運而生。主要目的通過競賽培養學生搭建大數據系統和優化大數據系統配置的能力；增強學生使用工具處理大數據問題的能力；培養學生使用數據庫存儲和查詢大數據的能力；鍛煉學生組織管理和團隊協調能力。同時通過競賽讓更多的學校開設大數據課程，形成高校為國家培養大數據人才的氛圍，建立完整的大數據專業體系；引導學校開設合理的大數據課程以及相應課程的知識節點，特別是加強對學生實際動手能力的培養。

為了適應高校大數據產業發展需求，部分高校進行了相應的競賽培訓，競賽環境成了高校制約比賽成績的關鍵因素。傳統的訓練方式一種是使用虛擬機，在普通電腦上完成訓練；稍微有點條件的使用服務器，但是這樣無法滿足多個團隊同時訓練，當多個團隊同時在線時，競賽資源分配成為亟待解決的問題。

發明內容

有鑒于此，本發明提出了一種基于云計算的高校大數據競賽管理系統及方法，用于解決高校大數據競賽訓練環境下資源浪費、負載不均衡等問題，

本發明第一方面，提出一種基于云計算的高校大數據競賽管理系統，所述系統包括：

身份管理模塊：用于對大數據競賽平臺的用戶進行賬號管理、權限分配；

競賽管理模塊：用于賽項時間管理、實驗操作管理；

集群管理模塊：用于提供競賽所需的各類實驗集群的創建、銷毀、掛起、恢復、一鍵回收；

資源調度模塊：用于基于學生選取的各類實驗集群，采用模擬退火算法與粒子群優化算法相結合的方式對物理資源進行虛擬化和調度，為大數據競賽平臺提供云端實驗資源；

資源監聽模塊：用于按固定時間間隔監聽資源調度模塊下每個學生的實驗進度和資源占用情況、每個物理服務器及每個虛擬機的資源占用情況，繪制相應的資源占用曲線，并將監聽結果反饋至資源調度模塊。

優選的，所述物理資源包括云計算中心的物理服務器提供的cpu、內存、磁盤、網絡資源。

優選的，所述集群管理模塊中，所述實驗集群包括：Hadoop實驗集群、HBase實驗集群、Hive實驗集群、Spark實驗集群。

優選的，競賽管理模塊中，所述競賽時間管理具體為：

獲取賽項時間及參與每項競賽的學生數量，根據競賽類型確定每個學生所需虛擬機數量和對應的物理資源，預測同一賽項時間內所有學生所需虛擬機總數，預先建立基于賽項時間的虛擬資源需求表，獲取云計算中心的物理資源總量，判斷同一時段內不同賽項所需的虛擬資源總量是否超過第一設定閾值，若是，進行賽項時間調整，將同一時段內不同賽項所需的虛擬資源總量控制在所述設定閾值范圍內。