[發明專利]一種基于Docker容器的分布式深度學習系統及其搭建方法、工作方法

有效

• 申請號: 201710866197.0
• 申請日: 2017-09-22
• 公開（公告）號: CN107450961B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 張舒;吳大雷;張秀真
• 申請（專利權）人: 濟南浚達信息技術有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61;H04L29/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

1.一種基于Docker容器的分布式深度學習系統的搭建方法，所述分布式深度學習系統包括一臺宿主機及多個Docker容器，宿主機上安裝有Hadoop分布式平臺、Spark，宿主機上還安裝有第一分布式深度學習平臺或第二分布式深度學習平臺；每個Docker容器上安裝有Hadoop分布式平臺、Spark，每個Docker容器上還安裝有第一分布式深度學習平臺或第二分布式深度學習平臺，其特征在于，具體步驟包括：

(1)準備宿主機，宿主機即為服務器主機；

(2)在宿主機根目錄下建立Docker容器所需的主文件夾，主文件夾包括能夠掛載的文件夾，用于保存進行深度學習所需要的訓練模型、訓練數據集、測試數據集、代碼及配置文件；

(3)在宿主機中安裝Hadoop分布式平臺、Spark；測試Hadoop分布式平臺、Spark是否安裝成功；如果安裝成功，則進入步驟(4)，否則，重復執行步驟(3)；

(4)在宿主機中安裝型號為CaffeOnSpark的第一分布式深度學習平臺或型號為TensorFlowOnSpark的第二分布式深度學習平臺，配置主節點的IP；

(5)在宿主機上創建一個空白容器；

(6)在所述空白容器上安裝Hadoop分布式平臺、Spark；

(7)在步驟(6)安裝后的容器上安裝型號為CaffeOnSpark的第一分布式深度學習平臺或型號為TensorFlowOnSpark的第二分布式深度學習平臺，配置從節點的IP；

(8)通過Docker的commit指令以步驟(7)安裝后的容器為模板創建鏡像；

(9)用步驟(8)創建的鏡像創建多個Docker容器，并配置每個Docker容器的IP地址。

2.根據權利要求1所述一種基于Docker容器的分布式深度學習系統的搭建方法，其特征在于，所述宿主機的型號為DELL PowerEdge R730，所述第一分布式深度學習平臺的型號為CaffeOnSpark，所述第二分布式深度學習平臺的型號為TensorFlowOnSpark。

3.一種基于Docker容器的分布式深度學習系統的工作方法，所述分布式深度學習系統為權利要求1所述分布式深度學習系統，其特征在于，具體步驟包括：

(1)啟動所述宿主機中的Hadoop平臺和Spark，所述宿主機作為整個分布式深度學習系統的主節點，并啟動若干個所述Docker容器中Hadoop平臺和Spark，若干個所述Docker容器均作為整個分布式深度學習系統的從節點；

(2)在宿主機的能夠掛載的文件夾下存入深度學習訓練所需要的訓練模型、訓練數據集、測試數據集、代碼及配置文件；

(3)通過腳本啟動深度學習訓練，主節點將深度學習訓練任務分配到各個從節點進行并行訓練。