[發(fā)明專利]一種深度學(xué)習(xí)環(huán)境搭建方法、裝置及服務(wù)器

在審

• 申請(qǐng)?zhí)枺?/td>: 201910363706.7
• 申請(qǐng)日: 2019-04-30
• 公開(kāi)（公告）號(hào): CN111857942A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 何偉
• 申請(qǐng)（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司;北京金山云科技有限公司
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F9/50
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;馬敬

本發(fā)明實(shí)施例提供了一種深度學(xué)習(xí)環(huán)境搭建方法、裝置及服務(wù)器，該方法應(yīng)用于管理服務(wù)器，該方法包括：接收終端發(fā)送的深度學(xué)習(xí)環(huán)境搭建請(qǐng)求，深度學(xué)習(xí)環(huán)境搭建請(qǐng)求中攜帶有目標(biāo)深度學(xué)習(xí)框架的標(biāo)識(shí)信息；確定搭建目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息；根據(jù)目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息，為目標(biāo)深度學(xué)習(xí)環(huán)境分配目標(biāo)計(jì)算服務(wù)器；向目標(biāo)計(jì)算服務(wù)器發(fā)送深度學(xué)習(xí)環(huán)境搭建請(qǐng)求，以使目標(biāo)計(jì)算服務(wù)器根據(jù)標(biāo)識(shí)信息創(chuàng)建目標(biāo)深度學(xué)習(xí)框架對(duì)應(yīng)的容器，從而形成目標(biāo)深度學(xué)習(xí)環(huán)境。通過(guò)本發(fā)明實(shí)施例提供的方案，可以實(shí)現(xiàn)不同深度學(xué)習(xí)框架依賴的隔離，有效提高資源利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種深度學(xué)習(xí)環(huán)境搭建方法、裝置及服務(wù)器。

背景技術(shù)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度學(xué)習(xí)框架有多種，例如，深度學(xué)習(xí)框架可以為caffe，tensorflow，pytorch，mxnet等。不同的深度學(xué)習(xí)框架依賴不同的深度學(xué)習(xí)環(huán)境，具體的，基于不同的深度學(xué)習(xí)框架訓(xùn)練深度學(xué)習(xí)模型，所需要的依賴包不同，該依賴包可以包括若干庫(kù)，例如函數(shù)庫(kù)，以及操作系統(tǒng)等，即不同的深度學(xué)習(xí)框架對(duì)應(yīng)不同的依賴包。

相關(guān)技術(shù)中，對(duì)于一臺(tái)物理機(jī)而言，如果基于一種深度學(xué)習(xí)框架來(lái)訓(xùn)練深度學(xué)習(xí)模型，則需要將這種深度學(xué)習(xí)框架對(duì)應(yīng)的依賴包下載到該臺(tái)物理機(jī)；如果基于另一種深度學(xué)習(xí)框架來(lái)訓(xùn)練深度學(xué)習(xí)模型，需要將這種深度學(xué)習(xí)框架對(duì)應(yīng)的依賴包也下載到該臺(tái)物理機(jī)；由于這兩種不同的深度學(xué)習(xí)框架，所對(duì)應(yīng)的依賴包不同，因此，該臺(tái)物理機(jī)可能存在對(duì)這兩種深度學(xué)習(xí)框架所對(duì)應(yīng)的依賴包不兼容的問(wèn)題，即存在這兩種深度學(xué)習(xí)框架所對(duì)應(yīng)的依賴包互相沖突的問(wèn)題，從而導(dǎo)致該臺(tái)物理機(jī)不能分別基于這兩種不同的深度學(xué)習(xí)框架，來(lái)訓(xùn)練深度學(xué)習(xí)模型，尤其是針對(duì)包括有多臺(tái)物理機(jī)的集群系統(tǒng)而言，資源利用率較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種深度學(xué)習(xí)環(huán)境搭建方法、裝置及服務(wù)器，能夠?qū)崿F(xiàn)對(duì)不同深度學(xué)習(xí)框架所對(duì)應(yīng)的依賴包進(jìn)行隔離，解決了不同深度學(xué)習(xí)框架所對(duì)應(yīng)的依賴包互相沖突的問(wèn)題，有效提升集群系統(tǒng)的資源利用率。

具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施了提供了一種深度學(xué)習(xí)環(huán)境搭建方法，應(yīng)用于管理服務(wù)器，所述方法包括：

接收終端發(fā)送的深度學(xué)習(xí)環(huán)境搭建請(qǐng)求，所述深度學(xué)習(xí)環(huán)境搭建請(qǐng)求中攜帶有目標(biāo)深度學(xué)習(xí)框架的標(biāo)識(shí)信息；

確定搭建所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息；

根據(jù)所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息，為所述目標(biāo)深度學(xué)習(xí)環(huán)境分配目標(biāo)計(jì)算服務(wù)器；

向所述目標(biāo)計(jì)算服務(wù)器發(fā)送深度學(xué)習(xí)環(huán)境搭建請(qǐng)求，以使所述目標(biāo)計(jì)算服務(wù)器根據(jù)所述標(biāo)識(shí)信息創(chuàng)建所述目標(biāo)深度學(xué)習(xí)框架對(duì)應(yīng)的容器，從而形成所述目標(biāo)深度學(xué)習(xí)環(huán)境。

可選的，所述接收終端發(fā)送的深度學(xué)習(xí)環(huán)境搭建請(qǐng)求，包括：

接收用戶通過(guò)終端提供的web頁(yè)面發(fā)送的深度學(xué)習(xí)環(huán)境搭建請(qǐng)求。

可選的，所述確定搭建所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息，包括：

根據(jù)所述目標(biāo)深度學(xué)習(xí)框架的標(biāo)識(shí)信息，以及預(yù)先存儲(chǔ)的深度學(xué)習(xí)框架的標(biāo)識(shí)信息和資源信息的對(duì)應(yīng)關(guān)系，確定搭建所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息；

或者，所述終端發(fā)送的深度學(xué)習(xí)環(huán)境搭建請(qǐng)求中攜帶有搭建所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的資源信息；所述確定搭建所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的目標(biāo)資源信息，包括：

獲取所述深度學(xué)習(xí)環(huán)境搭建請(qǐng)求中攜帶的搭建所述目標(biāo)深度學(xué)習(xí)環(huán)境所需的資源信息。