[發明專利]一種基于Docker容器的分布式深度學習系統及其搭建方法、工作方法

有效

• 申請號: 201710866197.0
• 申請日: 2017-09-22
• 公開（公告）號: CN107450961B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 張舒;吳大雷;張秀真
• 申請（專利權）人: 濟南浚達信息技術有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61;H04L29/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

本發明涉及一種基于Docker容器的分布式深度學習系統及其搭建方法、工作方法，包括一臺服務器主機、第一分布式深度學習平臺、第二分布式深度學習平臺。本發明利用Docker的容器化技術，在一臺服務器主機上同時搭載多個分布式深度學習系統。本發明的改進主要體現在三個方面：一是整個系統可以在一臺服務器主機上實現，不需要用多主機，節省成本；二是容器通過模板鏡像創建，過程簡單，不需要重復搭建，避免出現錯誤浪費時間；三是服務器的CPU能最大化的利用，不再浪費硬件資源。

技術領域

本發明涉及一種基于Docker容器的分布式深度學習系統及其搭建方法、工作方法，屬于云計算虛擬化技術領域。

背景技術

從本質上講，云計算是指用戶終端通過遠程連接獲取存儲、計算、數據庫等計算資源。虛擬化技術是云計算技術的核心組成之一，是將各種計算及存儲資源充分整合和高效利用的關鍵技術，包括服務器虛擬化和桌面虛擬化。Docker作為新興的輕量級虛擬化技術，與傳統的VM相比，它更輕量，啟動速度更快，單臺硬件上可同時跑成百上千個容器，所以非常適合在業務高峰期通過啟動大量容器進行橫向擴展。

目前深度學習平臺多用單機處理，很少用到分布式的深度學習平臺，首先分布式深度學習平臺搭建比較復雜，所需要的硬件配置較多。但相較于單機的深度學習平臺，分布式深度學習平臺能更快的進行運算。

目前市面上這些技術普遍存在如下問題：

1)利用服務器做單機深度學習平臺，CPU計算量足夠，但是不能完全利用，造成資源浪費。

2)分布式深度學習平臺，需要多臺主機搭建，每臺主機的CPU計算量有限，想要搭建大規模平臺所需主機數量大，費用高。

3)分布式深度學習平臺搭建過程繁瑣，采用主機搭建方法，每臺主機都需進行相同步驟。但重復相同步驟過程中會出現不同的錯誤，導致搭建進程緩慢。

中國專利文獻CN106657248A公開了一種基于Docker容器的網絡負載均衡系統及其搭建方法、工作方法。采用Docker容器技術作為本系統的基礎技術，利用Docker容器節約硬件資源能在一臺服務器主機中創建大量容器的特點，在一臺服務器主機上實現整套網絡負載均衡系統；利用Docker容器能通過鏡像秒級創建，并且通過鏡像創建的容器能保證完全相同的特點，實現通過容器鏡像方便快捷的添加Web服務器進行訪問量或數據流的分流。但是，該專利存在以下缺陷：利用Dockerfile創建鏡像時，不能可視化和測試鏡像中的一些文件配置是否成功。

發明內容

針對現有技術的不足，本發明提供了一種基于Docker容器的分布式深度學習系統；

本發明還提供了上述分布式深度學習系統的搭建方法及工作方法；

本發明利用Docker的容器化技術，在一臺服務器主機上同時搭載多個分布式深度學習系統。本發明的改進主要體現在三個方面：一是通過利用Docker的commit指令將配置好的容器生成鏡像，實現可視化和測試鏡像中的一些文件配置是否成功；二是整個系統可以在一臺服務器主機上實現，不需要用多主機，節省成本；三是容器通過模板鏡像創建，過程簡單，不需要重復搭建，避免出現錯誤浪費時間；四是服務器的CPU能最大化的利用，不再浪費硬件資源。

術語解釋：

1、Hadoop分布式平臺，是指由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現了一個分布式文件系統Hadoop Distributed File System，簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的硬件上；而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。HDFS放寬了POSIX的要求，可以以流的形式訪問文件系統中的數據。