[發明專利]基于大數據實訓平臺的大數據組件自動控制方法及系統

在審

• 申請號: 201911297640.2
• 申請日: 2019-12-17
• 公開（公告）號: CN111190652A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 羅文權;羅龍;李強
• 申請（專利權）人: 三盟科技股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/455;G06Q50/20
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 胡楓;曹萬菊

本發明公開了一種基于大數據實訓平臺的大數據組件自動控制方法，包括：對主節點虛擬機及從節點虛擬機進行檢測處理以生成配置信息；根據所述配置信息初始化所述主節點虛擬機及從節點虛擬機；將用戶選擇的目標組件區的配置文件移動到主節點虛擬機的文件目錄下；將所述主節點虛擬機的配置文件分發至所述從節點虛擬機；根據所述配置文件啟動所述主節點虛擬機及從節點虛擬機的組件服務，以完成組件部署。本發明還公開了一種基于大數據實訓平臺的大數據組件自動控制系統。采用本發明，可實現大數據組件自動部署，快速開展教學。

技術領域

本發明涉及大數據技術領域，尤其涉及一種基于大數據實訓平臺的大數據組件自動控制方法及一種基于大數據實訓平臺的大數據組件自動控制系統。

背景技術

大數據是當前國家的戰略重心，也是各省市以及高校競爭的焦點，隨著大數據行業迅速發展，未來社會對大數據的人才需求將劇烈增長，為服務國家大數據戰略，高校要提前做好大數據人才培養的準備，滿足社會需求。面對各地大數據人才的急劇缺失以及各地對大數據人才培養的鼓勵，教育部增設了數據科學與大數據技術、大數據技術與應用兩個專業，高校大數據專業建設正處于起步階段，為擴大高校在區域內、省內乃至全國的影響力，更好的服務地方，實現學校跨越式發展，在大數據方面實現彎道超車，高校開展大數據方面的應用與研究，并將研究成果應用于教學，提高高校教學質量，提高老師的教學和科研水平，提高學生未來工作適應能力、就業水平以及就業質量，高校紛紛開設大數據方向人才的培養。

然而，高校在大數據專業建設過程中仍面臨一些巨大挑戰：在大數據專業教學開展過程中，學生在做大數據實驗的時，經常會遇到需要大數據組件(例如hadoop、Spark、Zookeeper、Hive、Sqoop、Hbase等實驗環境)，需要手動在對應的數據節點進行環境變量及配置文件進行修改，調整參數后手動啟動服務，整個過程繁瑣復雜容易出錯，導致影響了實驗進度，教學進度緩慢，也大幅度增加教師的工作量。同時，涉及到多個班級、上百個學生同時進行大數據實踐課的時候，教師沒法快速、靈活的調整實驗環境。另外，在實驗過程中，經常會有學生填寫參數出現錯誤，教師一一進行排查，工作量巨大，導致后續實驗沒法進行。

因此，目前并沒有一種好的方法對實驗環境進行快速還原處理。

發明內容

本發明所要解決的技術問題在于，提供一種基于大數據實訓平臺的大數據組件自動控制方法及系統，可實現大數據組件自動部署，快速開展教學。

本發明所要解決的技術問題還在于，提供一種基于大數據實訓平臺的大數據組件自動控制方法及系統，可實現大數據異常實驗環境快速還原，降低教師的工作量。

為了解決上述技術問題，本發明提供了一種基于大數據實訓平臺的大數據組件自動控制方法，包括：對主節點虛擬機及從節點虛擬機進行檢測處理以生成配置信息；根據所述配置信息初始化所述主節點虛擬機及從節點虛擬機；將用戶選擇的目標組件區的配置文件移動到主節點虛擬機的文件目錄下；將所述主節點虛擬機的配置文件分發至所述從節點虛擬機；根據所述配置文件啟動所述主節點虛擬機及從節點虛擬機的組件服務，以完成組件部署。

作為上述方案的改進，所述基于大數據實訓平臺的大數據組件自動控制方法還包括，實驗操作過程中，根據實際情況進行備份和/或還原處理，其中：備份時，將實驗節點中可寫磁盤文件的狀態設為只讀狀態，并創建用于保存變化內容的文件以形成還原區；還原時，獲取用戶選擇的還原區，并檢測是否存在所述還原區，若存在，則讀取所述還原區的數據以進行還原處理。

作為上述方案的改進，進行檢測處理和/或配置文件分發前，所述主節點虛擬機通過SSH方式登錄所述從節點虛擬機。

作為上述方案的改進，進行檢測處理和/或實驗操作前，對用戶進行權限驗證，若用戶擁有訪問權限，則可進行檢測處理或實驗操作。