[發(fā)明專利]提供機(jī)器學(xué)習(xí)服務(wù)的云平臺及方法

在審

• 申請?zhí)枺?/td>: 202011226841.6
• 申請日: 2020-11-06
• 公開（公告）號: CN112311605A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 馬震;王志洋;馬慧榮;黃嚴(yán);張德兵;鄧亞峰;趙勇
• 申請（專利權(quán)）人: 北京格靈深瞳信息技術(shù)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;G06F9/50;G06N20/00
• 代理公司: 北京新知遠(yuǎn)方知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 馬軍芳;張艷

提供機(jī)器學(xué)習(xí)服務(wù)的云平臺和方法，包括：IaaS層、PaaS層和SaaS層，所述IaaS層部署有系統(tǒng)支持模塊，所述PaaS層部署有Kubernetes和Docker，所述SaaS層包括公共庫服務(wù)模塊、RESTful微服務(wù)模塊、應(yīng)用服務(wù)模塊和管理維護(hù)模塊，其中，公共庫服務(wù)模塊，用于記錄日志、配置參數(shù)、以及數(shù)學(xué)計(jì)算；RESTful微服務(wù)模塊，用于處理接收到的WEB分類任務(wù)的請求、調(diào)度和生命周期管理；應(yīng)用服務(wù)模塊，用于顯示任務(wù)運(yùn)行狀態(tài)和機(jī)器學(xué)習(xí)的結(jié)果；管理維護(hù)模塊，用于利用Harbor對鏡像資源進(jìn)行管理。采用本申請中的方案，可簡單的遷移環(huán)境，跟蹤實(shí)驗(yàn)以及機(jī)器學(xué)習(xí)部署非常容易，實(shí)驗(yàn)結(jié)果可以重現(xiàn)。

技術(shù)領(lǐng)域

本申請涉及云計(jì)算技術(shù)，具體地，涉及一種提供機(jī)器學(xué)習(xí)服務(wù)的云平臺和方法。

背景技術(shù)

機(jī)器學(xué)習(xí)是一項(xiàng)非常熱門的技術(shù)，無論應(yīng)用在安防、交通、醫(yī)療、金融、零售等領(lǐng)域。

盡管機(jī)器學(xué)習(xí)可以產(chǎn)生出色的結(jié)果，在實(shí)踐中使用它仍然是很復(fù)雜的。除了軟件研發(fā)中的常見挑戰(zhàn)外，機(jī)器學(xué)習(xí)開發(fā)人員還面臨著新的挑戰(zhàn)，包括實(shí)驗(yàn)管理(例如：跟蹤結(jié)果是由哪些參數(shù)，代碼和數(shù)據(jù)導(dǎo)致的)、可重復(fù)性(例如：稍后可以在相同的運(yùn)行環(huán)境中執(zhí)行相同的代碼)、部署模型到生產(chǎn)環(huán)境、以及數(shù)據(jù)治理(審計(jì)在整個機(jī)構(gòu)中使用的模型和數(shù)據(jù))。圍繞機(jī)器學(xué)習(xí)生命周期的這些關(guān)于工作流的挑戰(zhàn)，通常是在生產(chǎn)環(huán)境中使用機(jī)器學(xué)習(xí)并在機(jī)構(gòu)內(nèi)部對其擴(kuò)展的最大障礙。

目前，存在一些云平臺支持算法的在線訓(xùn)練業(yè)務(wù)，這些云平臺往往有以下功能：通過點(diǎn)擊申請GPU、存儲等資源以及相應(yīng)的環(huán)境，自行編寫代碼進(jìn)行訓(xùn)練。而利用這些云平臺進(jìn)行機(jī)器學(xué)習(xí)時仍存在以下問題：

1、存在無數(shù)彼此獨(dú)立的工具，從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練，數(shù)百種軟件工具涵蓋了機(jī)器學(xué)習(xí)生命周期的每個階段，機(jī)器學(xué)習(xí)開發(fā)人員需要圍繞數(shù)十個庫進(jìn)行生產(chǎn)環(huán)境的部署；

2、實(shí)驗(yàn)結(jié)果難以重現(xiàn)，在訓(xùn)練模型時需要大量的數(shù)據(jù)并針對性的部署了環(huán)境，在用戶實(shí)際生產(chǎn)環(huán)境中使用時需要重新部署環(huán)境以及獲取大量的數(shù)據(jù)才有可能獲得接近相同的實(shí)驗(yàn)結(jié)果；

3、跟蹤實(shí)驗(yàn)以及部署機(jī)器學(xué)習(xí)困難，機(jī)器學(xué)習(xí)算法具有幾十種可配置的參數(shù)，跟蹤這些可配置的參數(shù)及其數(shù)值非常困難，且將訓(xùn)練好的模型遷移到生產(chǎn)環(huán)境是極具挑戰(zhàn)性的。

現(xiàn)有技術(shù)中存在的問題：

目前沒有專門針對機(jī)器學(xué)習(xí)的云平臺，導(dǎo)致用戶在不同環(huán)境使用模型時需要重新執(zhí)行數(shù)據(jù)準(zhǔn)備、部署環(huán)境等大量復(fù)雜工作。

發(fā)明內(nèi)容

本申請實(shí)例中提供了一種提供機(jī)器學(xué)習(xí)服務(wù)的云平臺和方法，以解決上述技術(shù)問題。

根據(jù)本申請實(shí)例的第一個方面，提供了一種提供機(jī)器學(xué)習(xí)服務(wù)的云平臺，包括：IaaS層、PaaS層和SaaS層，所述IaaS層部署有系統(tǒng)支持模塊，所述PaaS層部署有Kubernetes和Docker，所述SaaS層包括公共庫服務(wù)模塊、RESTful微服務(wù)模塊、應(yīng)用服務(wù)模塊和管理維護(hù)模塊，其中，

所述公共庫服務(wù)模塊，用于記錄日志、配置參數(shù)、以及數(shù)學(xué)計(jì)算；

所述RESTful微服務(wù)模塊，用于處理接收到的WEB分類任務(wù)的請求、調(diào)度和生命周期管理；

所述應(yīng)用服務(wù)模塊，用于顯示任務(wù)運(yùn)行狀態(tài)和機(jī)器學(xué)習(xí)的結(jié)果；

所述管理維護(hù)模塊，用于利用Harbor對鏡像資源進(jìn)行管理。

根據(jù)本申請實(shí)例的第二個方面，提供了一種利用如上所述的提供機(jī)器學(xué)習(xí)服務(wù)的云平臺進(jìn)行機(jī)器學(xué)習(xí)的方法，包括：

獲取訓(xùn)練數(shù)據(jù)集；

將所述訓(xùn)練數(shù)據(jù)集以及預(yù)先確定的初始算法模型載入預(yù)先確定的GPU集群，訓(xùn)練得到訓(xùn)練好的算法模型；