[發(fā)明專利]一種構(gòu)建在線機(jī)器學(xué)習(xí)項(xiàng)目的方法及機(jī)器學(xué)習(xí)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010526478.3
• 申請(qǐng)日: 2020-06-09
• 公開(kāi)（公告）號(hào): CN111901294A
• 公開(kāi)（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 張鵬浩
• 申請(qǐng)（專利權(quán)）人: 北京邁格威科技有限公司;內(nèi)蒙古曠視金智科技有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L29/08;G06N20/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

本申請(qǐng)實(shí)施例提供一種構(gòu)建在線機(jī)器學(xué)習(xí)項(xiàng)目的方法及機(jī)器學(xué)習(xí)系統(tǒng)所述構(gòu)建在線機(jī)器學(xué)習(xí)項(xiàng)目的方法包括：接收來(lái)自于用戶的服務(wù)請(qǐng)求；根據(jù)所述服務(wù)請(qǐng)求為服務(wù)分配用戶服務(wù)集群的資源并搭建在線運(yùn)行環(huán)境，其中，所述在線運(yùn)行環(huán)境用于執(zhí)行機(jī)器學(xué)習(xí)的模型開(kāi)發(fā)服務(wù)或者模型訓(xùn)練服務(wù)；接收來(lái)自于所述用戶在所述在線運(yùn)行環(huán)境中的操作；基于所述操作向所述用戶提供運(yùn)行信息，其中，所述運(yùn)行信息包括所述模型開(kāi)發(fā)服務(wù)或者模型訓(xùn)練服務(wù)的運(yùn)行結(jié)果或者運(yùn)行狀態(tài)。本申請(qǐng)實(shí)施例實(shí)現(xiàn)了用戶在本地編寫(xiě)代碼實(shí)現(xiàn)模型開(kāi)發(fā)或者用戶在本地使用云端資源實(shí)現(xiàn)模型訓(xùn)練，并將在云端執(zhí)行的代碼開(kāi)發(fā)運(yùn)行結(jié)果和模型訓(xùn)練結(jié)果返回用戶瀏覽器，提升用戶進(jìn)行機(jī)器學(xué)習(xí)項(xiàng)目的效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器學(xué)習(xí)領(lǐng)域，具體而言本申請(qǐng)實(shí)施例涉及一種構(gòu)建在線機(jī)器學(xué)習(xí)項(xiàng)目的方法及機(jī)器學(xué)習(xí)系統(tǒng)。

背景技術(shù)

目前業(yè)界通用的機(jī)器學(xué)習(xí)(例如，深度學(xué)習(xí))方案是使用一臺(tái)帶有高性能顯卡的物理機(jī)或者虛擬機(jī)，把數(shù)據(jù)集和模型下載到本地磁盤(pán)，之后通過(guò)命令行編寫(xiě)訓(xùn)練代碼，運(yùn)行代碼，在標(biāo)準(zhǔn)輸出或者日志文件中拿到代碼執(zhí)行的訓(xùn)練結(jié)果再做分析。

本申請(qǐng)的發(fā)明人發(fā)現(xiàn)上述相關(guān)方案至少包括以下四個(gè)方面的缺陷。第一方面彈性較差，這是由于使用了一臺(tái)機(jī)器，很難輕易變更計(jì)算資源；第二方面，數(shù)據(jù)靈活性和使用門(mén)檻較高，數(shù)據(jù)集的規(guī)格差異較大，頻繁的上傳下載數(shù)據(jù)集會(huì)帶來(lái)龐大的時(shí)間成本；第三方面，缺乏對(duì)模型和數(shù)據(jù)集的管理長(zhǎng)久之后會(huì)導(dǎo)致無(wú)法管理機(jī)器上的數(shù)據(jù)；第四方面，通過(guò)命令行編寫(xiě)代碼、運(yùn)行代碼無(wú)法做到友好的保存實(shí)驗(yàn)運(yùn)行狀態(tài)和數(shù)據(jù)，更無(wú)法分析數(shù)據(jù)和分享實(shí)驗(yàn)。

因此如何提供一個(gè)高效的機(jī)器學(xué)習(xí)平臺(tái)成了亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種構(gòu)建在線機(jī)器學(xué)習(xí)項(xiàng)目的方法及機(jī)器學(xué)習(xí)系統(tǒng)，本申請(qǐng)實(shí)施例未采用傳統(tǒng)方案以計(jì)算資源為中心的研究和實(shí)驗(yàn)形態(tài)，改以項(xiàng)目為中心，為項(xiàng)目分配數(shù)據(jù)集、計(jì)算資源和模型等。本申請(qǐng)的一些實(shí)施例在任意一次啟動(dòng)項(xiàng)目的時(shí)候，會(huì)將與項(xiàng)目有關(guān)聯(lián)的數(shù)據(jù)集掛載(例如，使用NFS協(xié)議掛載)到用戶的計(jì)算資源上，從用戶的體驗(yàn)的視角相當(dāng)于訪問(wèn)本地盤(pán)，無(wú)須下載數(shù)據(jù)；本申請(qǐng)的一些實(shí)施例使用可編程筆記本的形式進(jìn)行模型開(kāi)發(fā)，實(shí)時(shí)保留用戶的代碼和代碼運(yùn)行狀態(tài)；本申請(qǐng)的一些實(shí)施例還為用戶提供菜單欄快速檢索和加載模型庫(kù)里的所有已知模型，無(wú)須用戶自己去其他平臺(tái)查找和手動(dòng)下載。

第一方面，本申請(qǐng)實(shí)施例提供一種構(gòu)建在線機(jī)器學(xué)習(xí)項(xiàng)目的方法，所述方法包括：接收來(lái)自于用戶的服務(wù)請(qǐng)求；根據(jù)所述服務(wù)請(qǐng)求為服務(wù)分配用戶服務(wù)集群的資源并搭建在線運(yùn)行環(huán)境，其中，所述在線運(yùn)行環(huán)境用于執(zhí)行機(jī)器學(xué)習(xí)的模型開(kāi)發(fā)服務(wù)或者模型訓(xùn)練服務(wù)；接收來(lái)自于所述用戶在所述在線運(yùn)行環(huán)境中的操作；基于所述操作向所述用戶提供運(yùn)行信息，其中，所述運(yùn)行信息包括所述模型開(kāi)發(fā)服務(wù)或者模型訓(xùn)練服務(wù)的運(yùn)行結(jié)果或者運(yùn)行狀態(tài)。

本申請(qǐng)實(shí)施例實(shí)現(xiàn)了用戶在本地編寫(xiě)代碼實(shí)現(xiàn)模型開(kāi)發(fā)或者用戶在本地使用云端資源實(shí)現(xiàn)模型訓(xùn)練，并將在云端執(zhí)行的代碼開(kāi)發(fā)運(yùn)行結(jié)果和模型訓(xùn)練結(jié)果返回用戶瀏覽器，從而提升了用戶進(jìn)行機(jī)器學(xué)習(xí)項(xiàng)目的效果。

在一些實(shí)施例中，所述接收來(lái)自于所述用戶在所述在線運(yùn)行環(huán)境中的操作之前，所述方法還包括：確認(rèn)所述用戶的身份通過(guò)驗(yàn)證；將流量發(fā)往指定的IP地址和端口，其中，所述指定的IP地址為所述運(yùn)行環(huán)境的地址，所述端口為在所述運(yùn)行環(huán)境中啟動(dòng)的模型開(kāi)發(fā)服務(wù)或者模型訓(xùn)練服務(wù)的端口。

本申請(qǐng)實(shí)施例在啟動(dòng)運(yùn)行環(huán)境時(shí)(例如，容器)還需要在用戶服務(wù)集群(至少用于為模型開(kāi)發(fā)任務(wù)或者模型訓(xùn)練任務(wù)等機(jī)器學(xué)習(xí)任務(wù)提供物理資源)之外通過(guò)代理驗(yàn)證用戶的身份，以提升用戶服務(wù)集群上運(yùn)行的程序的安全性。

在一些實(shí)施例中，所述方法還包括：為所述服務(wù)分配一個(gè)令牌；根據(jù)所述令牌確認(rèn)將所述流量發(fā)往所述指定的IP地址和端口。