[發(fā)明專利]開發(fā)機操作任務的處理方法、裝置、設備以及存儲介質在審
| 申請?zhí)枺?/td> | 202011058788.3 | 申請日: | 2020-09-30 |
| 公開(公告)號: | CN112035220A | 公開(公告)日: | 2020-12-04 |
| 發(fā)明(設計)人: | 駱寶童;張恒華;胡在斌;黃凱文;孟凱;蘇偉江;翟曉宇;李盼盼;李振國 | 申請(專利權)人: | 北京百度網訊科技有限公司 |
| 主分類號: | G06F9/455 | 分類號: | G06F9/455;G06F9/451 |
| 代理公司: | 北京同立鈞成知識產權代理有限公司 11205 | 代理人: | 鈄颯颯;劉芳 |
| 地址: | 100085 北京市*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 開發(fā) 操作 任務 處理 方法 裝置 設備 以及 存儲 介質 | ||
本申請公開了開發(fā)機操作任務的處理方法、裝置、設備以及存儲介質,涉及人工智能的深度學習領域。具體實現方案為:接收客戶端發(fā)起的任務創(chuàng)建請求;根據任務創(chuàng)建請求,生成開發(fā)機操作任務;為開發(fā)機操作任務分配執(zhí)行開發(fā)機操作任務所需的目標圖像處理器GPU;向集群節(jié)點中的主節(jié)點發(fā)送開發(fā)機操作任務請求,任務請求用于請求在目標GPU上執(zhí)行開發(fā)機操作任務。相比于現有技術,本申請通過使用docker容器在GPU上執(zhí)行開發(fā)機操作任務,從而可以直接利用本地主機的操作系統,進而提高了物理機的硬件的利用率。
技術領域
本申請涉及數據處理中的人工智能的深度學習領域,尤其涉及一種開發(fā)機操作任務的處理方法、裝置、設備以及存儲介質。
背景技術
自從深度學習的概念被提出以來,深度學習在理論和應用落地方面都有巨大的進步?,F有的深度學習訓練任務都運行在高性能圖形處理器(graphics processing unit,GPU)集群上,為了達到開發(fā)、訓練環(huán)境一致的目的,開發(fā)人員大都也使用GPU開發(fā)機進行開發(fā)調試工作。
當前開發(fā)機的主流方式是通過平臺虛擬化技術將計算機、存儲和網絡硬件間建立了一個抽象的虛擬化平臺,從而使得物理機的所有硬件被統一到一個虛擬化層中。在虛擬化平臺頂部創(chuàng)建有與物理機有相同硬件結構的虛擬機,開發(fā)人員可以在虛擬機上進行開發(fā)機操作任務。由于虛擬機之間互不干擾,從而可以實現對系統資源的保護。
然而,虛擬機需要對物理機的真實硬件層進行封裝,并且,虛擬化也必然占用一部分物理機的資源,導致損失一部分物理機的性能,從而使得物理機的硬件的利用率較低。
發(fā)明內容
本申請?zhí)峁┝艘环N用于開發(fā)機操作任務的處理方法、裝置、設備以及存儲介質。
根據本申請的一方面,提供了一種開發(fā)機操作任務的處理方法,接收客戶端發(fā)起的任務創(chuàng)建請求;
根據所述任務創(chuàng)建請求,生成開發(fā)機操作任務;
為所述開發(fā)機操作任務分配執(zhí)行所述開發(fā)機操作任務所需的目標圖像處理器GPU;
向集群節(jié)點中的主節(jié)點發(fā)送所述開發(fā)機操作任務請求,所述任務請求用于請求在所述目標GPU上執(zhí)行所述開發(fā)機操作任務。
根據本申請的第二方面,提供了一種開發(fā)機操作任務的處理方法,包括:
所接收任務管理服務器發(fā)送的開發(fā)機操作任務請求,所述任務請求用于請求在目標GPU上執(zhí)行所述開發(fā)機操作任務;
根據集群節(jié)點中的多個工作節(jié)點的運行狀態(tài),確定目標工作節(jié)點;
調度所述目標工作節(jié)點的docker容器在所述目標GPU上執(zhí)行所述開發(fā)機操作任務。
根據本申請的第三方面,提供了一種開發(fā)機操作任務的處理裝置,包括:
接收模塊,用于接收客戶端發(fā)起的任務創(chuàng)建請求;
處理模塊,用于根據所述任務創(chuàng)建請求,生成開發(fā)機操作任務;為所述開發(fā)機操作任務分配執(zhí)行所述開發(fā)機操作任務所需的目標圖像處理器GPU;
發(fā)送模塊,用于向集群節(jié)點中的主節(jié)點發(fā)送所述開發(fā)機操作任務請求,所述任務請求用于請求在所述目標GPU上執(zhí)行所述開發(fā)機操作任務。
根據本申請的第四方面,提供了一種開發(fā)機操作任務的處理裝置,包括:
接收模塊,用于接收任務管理服務器發(fā)送的開發(fā)機操作任務請求,所述任務請求用于請求在目標GPU上執(zhí)行所述開發(fā)機操作任務;
處理模塊,用于根據集群節(jié)點中的多個工作節(jié)點的運行狀態(tài),確定目標工作節(jié)點;調度所述目標工作節(jié)點的docker容器在所述目標GPU上執(zhí)行所述開發(fā)機操作任務。
根據本申請的第五方面,提供了一種電子設備,包括:
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京百度網訊科技有限公司,未經北京百度網訊科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202011058788.3/2.html,轉載請聲明來源鉆瓜專利網。





