[發明專利]一種深度學習訓練環境下自動化制作鏡像的裝置及方法

在審

• 申請號: 202011002842.2
• 申請日: 2020-09-22
• 公開（公告）號: CN111949284A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 李銘琨
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61;G06N3/04;G06N3/08;G06Q10/10
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發明公開了一種深度學習訓練環境下自動化制作鏡像的裝置及方法，包括：編輯器、文件倉庫、制作模塊、鏡像倉庫，編輯器包括一般模式或深度學習模式，所述深度學習模式包括多種編程語言；編輯好的文件推送至該文件倉庫；基于文件倉庫接收的文件觸發鏡像構件；保存制作模塊完成的鏡像；通過RESTful的HTTP請求將所述編輯器、文件倉庫、制作模塊、鏡像倉庫進行數據串聯。本裝置作為一個整體，對外提供制作鏡像時，整個部分不可分割完全實現了自動化。針對深度學習的特殊場景，做了特定的前置構建深度學習基礎鏡像部分，并作替換之后繼續剩下的構建流程。全流程的自動化，減少了人的操作，提升了工作效率。

技術領域

本發明涉及深度學習訓練環境下自動化制作鏡像制作技術領域，尤其涉及一種深度學習訓練環境下自動化制作鏡像的裝置及方法。

背景技術

近年來云計算技術發展迅速,越來越多的企業、團體及個人選擇將自己的服務或應用部署到云平臺上。虛擬化技術作為云計算核心技術之一，為云計算的發展做出了強有力的支撐。云平臺中的虛擬機節點通常使用虛擬機鏡像文件進行實例化。針對不同功能的虛機節點，往往需要對虛機鏡像進行一系列修改。

在現在的制作鏡像方式多是采用手動的方式，需要采取多步操作。并且在深度學習的訓練過程中，算法人員需要經常的構建不同的鏡像來運行不同的深度學習任務，其中就包括了CUDA、cuDNN、NCCL等。

CUDA(Compute Unified Device Architecture)，是顯卡廠商NVIDIA推出的運算平臺。CUDA^TM是一種由NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決復雜的計算問題。它包含了CUDA指令集架構(ISA)以及GPU內部的并行計算引擎。開發人員可以使用C語言來為CUDA^TM架構編寫程序，C語言是應用最廣泛的一種高級編程語言。所編寫出的程序可以在支持CUDA^TM的處理器上以超高性能運行。CUDA3.0已經開始支持C++和FORTRAN。

NVIDIA CUDA深度神經網絡庫(cuDNN)是一個gpu加速的深度神經網絡原語庫。cuDNN為標準提供了高度調整實現例程如向前和向后卷積、池、歸一化和活化層。

全球的深度學習研究人員和框架開發人員都依賴cuDNN來實現高性能GPU加速。它使他們可以專注于訓練神經網絡和開發軟件應用程序，而不必花時間在底層GPU性能調整上。cuDNN加速了廣泛使用的深度學習框架，包括Caffe2，Chainer，Keras，MATLAB，MxNet，PyTorch和TensorFlow。

NVIDIA集體通信庫(The NVIDIA Collective Communications LibraryNCCL)實現了針對NVIDIA gpu進行性能優化的多gpu和多節點集體通信原語。NCCL提供例程，如所有收集，所有規約，廣播，規約，規約-分散，優化以實現高帶寬和低延遲在PCIe和NVLink高速互連。

但是一般的算法人員可能不太需要關心這些庫是怎樣運行，只是所使用的深度學習框架對這些底層的庫進行調用，所以對這些庫的安裝，算法人員可能不夠熟悉，可能需要浪費太多的時間。

發明內容

本發明提供的一種技術方案是一種深度學習訓練環境下自動化制作鏡像的裝置及方法，使用者通過修改鏡像的制作文件，在保存之后，觸發深度學習環境下自動化的鏡像制作流程，最終完成鏡像的制作。

本方案所涉及到的技術名詞包括：

容器技術：有效的將單個操作系統的資源劃分到孤立的組中，以便更好的在孤立的組之間平衡有沖突的資源使用需求，這種技術就是容器技術。

容器技術可以同時將操作系統鏡像和應用程序加載到內存當中。還可以從網絡磁盤進行加載，因為同時啟動幾十臺鏡像不會對網絡和存儲帶來很大負載。之后的鏡像創建過程只需要指向通用鏡像，大大減少了所需內存。