[發明專利]一種基于kubernetes平臺的深度學習任務彈性伸縮系統及方法

在審

• 申請號: 201810798693.1
• 申請日: 2018-07-19
• 公開（公告）號: CN109117248A
• 公開（公告）日: 2019-01-01
• 發明（設計）人: 劉娜
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50;G06F11/30
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

本發明實施例公開了一種基于kubernetes平臺的深度學習任務彈性伸縮系統及方法，系統包括：數據采集模塊、數據監控模塊以及數據存儲模塊，其中所述采集模塊設置于kubernetes平臺的計算節點，所述數據監控模塊以及數據存儲模塊設置于kubernetes平臺的管理節點，所述數據采集模塊、數據監控模塊以及數據存儲模塊依次通信連接。本發明中在kubernetes平臺的計算節點設置數據采集模塊采集容器的內存利用率，然后通過在kubernetes平臺的管理節點設置數據監控模塊以及數據存儲模塊，數據監控模塊將各個計算節點上采集到的容器利用率集中采集后保運在數據存儲模塊，管理節點通過數據存儲模塊中保存的內存利用率根據預設規則進行容器增加，從而使容器的訓練狀態處于最佳，提高深度學習訓練效率。

技術領域

本發明涉及深度學習技術領域，特別是涉及一種基于kubernetes平臺的深度學習任務彈性伸縮系統及方法。

背景技術

人工智能的興起，被人們稱之為“第四次工業革命”標志，現在越來越多的人工智能應用走進我們的生活，包括人臉識別、圖片識別、語音識別、智能駕駛、智能理財等。人工智能的本質就是使用大量的歷史數據，基于特定的數據模型，經過反復的訓練，使數據模型具備自我分辨的能力。Tensorflow作為人工智能領域優秀的分布式機器學習系統，在生產環境中已經得到廣泛的應用。

現有技術中，通過Tensorflow系統進行深度學習的過程為：在kubernetes平臺的計算節點設置訓練容器，將訓練數據劃分為若干等分，通過控制節點向容器分配訓練數據，進行并行訓練。

然而，現有技術中，訓練容器的數量是人為指定的，容器數量是否已經達到最優無法預知，當設置的容器數量過少時候，每個容器的計算能力就受到限制，當設置的容器數量過多時會造成資源的浪費，從整體上影響了深度學習訓練效率。

發明內容

本發明實施例中提供了一種基于kubernetes平臺的深度學習任務彈性伸縮系統及方法，以解決現有技術中深度學習訓練效率低的問題。

為了解決上述技術問題，本發明實施例公開了如下技術方案：

本發明第一方面提供了一種基于kubernetes平臺的深度學習任務彈性伸縮系統，包括：數據采集模塊、數據監控模塊以及數據存儲模塊，其中所述采集模塊設置于kubernetes平臺的計算節點，所述數據監控模塊以及數據存儲模塊設置于kubernetes平臺的管理節點，所述數據采集模塊、數據監控模塊以及數據存儲模塊依次通信連接。

優選地，所述系統還包括容器設置模塊，所述容器設置模塊設置于kubernetes平臺的計算節點并與所述數據存儲模塊通信連接。

優選地，所述系統還包括資源調度模塊，所述資源調度模塊設置于kubernetes平臺的計算節點并與所述容器設置模塊連接，用于向容器分配訓練數據。

優選地，所述數據采集模塊包括：cAdvisor工具；

所述數據監控模塊包括：heapster工具；

所述數據存儲模塊包括：influxDB工具。

本發明第二方面提供了一種基于kubernetes平臺的深度學習任務彈性伸縮方法，其特征在于，包括：

設置初始容器數量；

獲取容器內存利用率；

判斷所述容器利用率是否大于預設內存利用率；

如果是則根據第一預設容量值增加容器，否則繼續獲取容器內存利用率；

計算利用率增加量；

根據所述利用率增加量增加容器。

優選地，計算利用率增加量具體包括：