[發明專利]一種基于亞馬遜網絡服務器的機器學習系統搭建方法

有效

• 申請號: 201910106145.2
• 申請日: 2019-01-31
• 公開（公告）號: CN109740765B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 何海林;徐瀅
• 申請（專利權）人: 成都品果科技有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06N99/00;H04L67/1097;H04L67/10
• 代理公司: 成都高遠知識產權代理事務所(普通合伙) 51222
• 代理人: 李安霞;曾克

本發明公開一種基于亞馬遜網絡服務器的機器學習系統搭建方法，包括：采用AWS?Boto3接口創建Amazon?EMR集群，所述Amazon?EMR集群配置有Zeppelin存儲平臺；將預先編譯的Spark任務代碼從Amazon?S3拷貝到所述Amazon?EMR集群的Master機器上；通過所述Zeppelin存儲平臺的服務接口，將所述Spark任務代碼在所述Master機器上的存儲路徑注冊到所述Zeppelin存儲平臺的Spark解釋器中，將所述Zeppelin存儲平臺的Zeppelin?Notebook的代碼倉庫注冊到所述Amazon?S3中；通過AWS創建所需的機器學習實例。本發明提供的技術方案，能夠快速地完成所需系統的搭建，提高開發效率。

技術領域

本發明涉及計算機網絡資源管理技術領域，尤其涉及一種基于亞馬遜網絡服務器的機器學習系統搭建方法。

背景技術

亞馬遜網絡服務器(Amazon?Web?Services，AWS)是亞馬遜公司運營的云計算資源管理平臺，以遠端Web服務的方式向企業提供多種類型的AWS資源，例如，亞馬遜彈性計算網云(AWS?EC2，Amazon?Elastic?Compute?Cloud)服務資源以及亞馬遜簡單存儲服務(AmazonS3，Amazon?Simple?Storage?Service)資源等。其中，AWS?EC2服務資源可以讓用戶以租用虛擬計算機(即實例)的方式，遠程使用不同類型的虛擬計算機組成的計算機系統，在該計算機系統中可以運行用戶所需要的任何應用軟件，同時，用戶可以隨時創建、運行和終止AWS?EC2服務；Amazon?S3服務可用于進行網絡數據存儲。Amazon?EMR提供的托管Hadoop框架可以讓用戶在多個動態可擴展的Amazon?EC2實例中處理大量數據。集群是Amazon?EC2實例的集合，集群也是Amazon?EMR的核心組件。

基于AWS提供的各種基礎服務，開發人員可以快速地搭建各種計算環境，用于實現云計算、大數據和機器學習等。在可控的成本資源下如何快速地響應產品需求以完成機器學習目標，成為開發人員需要優先考慮的因素。機器學習涉及到的內容非常多，主要包括數據采集、數據治理、數據特征的處理、模型的選取、超參數搜索、模型訓練等任務。前期的數據采集和治理等可以使用Flume、Spark、Kinesis、Kafka、Elastic?Search等軟件工具來完成；后續的數據特征的處理、模型相關的訓練任務等需要使用到諸如Spark、Tensorflow等計算引擎和計算平臺。在確定機器學習任務目標后，開發人員還需要進行數據驗證、模型訓練、AB測試等諸多環節，而這些環節需要快速地調用AWS資源進行計算和驗證。具體地，需要在亞馬遜后臺分別完成EMR和EC2的創建，再部署相關代碼，使用Spark計算引擎等提交計算任務或者啟動Python程序語言腳本進行數據特征和模型的調試，觀察相關數據結果和指標。由于不同模型可能需要不同類型的數據，以及模型調優需要持續一段時間，因此，上述整個開發周期本身耗時較長。若因為前期成本投入不足而導致AWS資源被回收，開發人員又需要重新創建EMR和EC2，從而進一步拉長開發周期，同時，重新創建EMR和EC2的過程也使得開發人員的工作量大大增加。上述問題均導致開發人員的工作效率低下。

發明內容

本發明旨在提供一種基于亞馬遜網絡服務器的機器學習系統搭建方法，能夠快速地完成所需系統的搭建，提高開發效率。

為達到上述目的，本發明采用的技術方案如下：

一種基于亞馬遜網絡服務器的機器學習系統搭建方法，包括：采用AWS?Boto3接口創建Amazon?EMR集群，所述Amazon?EMR集群配置有Zeppelin存儲平臺；將預先編譯的Spark任務代碼從Amazon?S3拷貝到所述Amazon?EMR集群的Master機器上；通過所述Zeppelin存儲平臺的服務接口，將所述Spark任務代碼在所述Master機器上的存儲路徑注冊到所述Zeppelin存儲平臺的Spark解釋器中，將所述Zeppelin存儲平臺的Zeppelin?Notebook的代碼倉庫注冊到所述Amazon?S3中；通過AWS創建所需的機器學習實例。