[發(fā)明專利]基于容器的云計(jì)算平臺(tái)任務(wù)處理方法、系統(tǒng)及其應(yīng)用方法

有效

• 申請?zhí)枺?/td>: 201910010905.X
• 申請日: 2019-01-07
• 公開（公告）號(hào): CN109376017B
• 公開（公告）日: 2019-04-12
• 發(fā)明（設(shè)計(jì)）人: 李根;宋卓;鄧文平;唐駿翔;吳侃;孫朝輝;寧文飛;謝成龍;朱德龍;張栓;馬丑賢
• 申請（專利權(quán)）人: 人和未來生物科技（長沙）有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 鄒大堅(jiān);譚武藝

本發(fā)明公開了一種基于容器的云計(jì)算平臺(tái)任務(wù)處理方法、系統(tǒng)及其應(yīng)用方法，本發(fā)明利用容器編排技術(shù)基于編程語法來識(shí)別解析計(jì)算任務(wù)中的語法定義，從而實(shí)現(xiàn)對計(jì)算任務(wù)中循環(huán)的處理以及計(jì)算任務(wù)之間的依賴關(guān)系處理，通過運(yùn)行計(jì)算子任務(wù)A_i的容器，運(yùn)行結(jié)束后將計(jì)算結(jié)果傳輸?shù)綌?shù)據(jù)倉庫，來完成基于容器的云計(jì)算平臺(tái)任務(wù)處理。本發(fā)明面向有一定編程能力的用戶，提供并行和串行運(yùn)行算法任務(wù)支持，解決了計(jì)算子任務(wù)之間相互依賴的問題，可根據(jù)自身業(yè)務(wù)自定義任務(wù)處理，將計(jì)算子任務(wù)使用容器結(jié)合現(xiàn)有容器資源編排調(diào)度完成業(yè)務(wù)處理，能夠有效提高平臺(tái)實(shí)用性及優(yōu)化平臺(tái)的資源效能。

技術(shù)領(lǐng)域

本發(fā)明涉及云計(jì)算服務(wù)領(lǐng)域，具體涉及一種基于容器的云計(jì)算平臺(tái)任務(wù)處理方法、系統(tǒng)及其應(yīng)用方法。

背景技術(shù)

容器是輕量級(jí)的操作系統(tǒng)級(jí)虛擬化技術(shù)，可以讓我們在一個(gè)資源隔離的進(jìn)程中運(yùn)行應(yīng)用及其依賴項(xiàng)。相對于傳統(tǒng)虛擬機(jī)技術(shù)，容器技術(shù)具有輕量級(jí)的資源開銷和秒級(jí)啟動(dòng)時(shí)間良好屬性。隨著容器技術(shù)不斷完善與發(fā)展，眾多服務(wù)提供商以優(yōu)化平臺(tái)的資源效能和提升服務(wù)響應(yīng)能力的目的，采用容器技術(shù)構(gòu)建云計(jì)算平臺(tái)，提供在線計(jì)算等服務(wù)，隨著阿里云、亞馬遜等云服務(wù)的出現(xiàn)，為在線云計(jì)算服務(wù)的出現(xiàn)奠定的基礎(chǔ)。

現(xiàn)有容器基礎(chǔ)平臺(tái)已很好的實(shí)現(xiàn)容器資源編排調(diào)度功能，在資源使用率較低的節(jié)點(diǎn)動(dòng)態(tài)地創(chuàng)建容器，并借助負(fù)載均衡技術(shù)將業(yè)務(wù)量分發(fā)到新建的容器。圖1是kubernetes、rancher和docker等公司的現(xiàn)有容器基礎(chǔ)平臺(tái)架構(gòu)，主要包括Web前端、服務(wù)端、容器編排調(diào)度器、客戶端四部分，容器編排調(diào)度器的編排流程如下：用戶通過Web端提交業(yè)務(wù)請求；Web端將業(yè)務(wù)請求發(fā)送給服務(wù)端；服務(wù)端接收到業(yè)務(wù)請求后，進(jìn)行響應(yīng)和處理，將請求發(fā)送給編排調(diào)度器；編排調(diào)度器選擇資源使用率最小的客戶端節(jié)點(diǎn)，將容器創(chuàng)建指令發(fā)送給客戶端；客戶端接收到容器創(chuàng)建指令后，根據(jù)指令進(jìn)行容器的創(chuàng)建。

因此，基于現(xiàn)有的現(xiàn)有容器基礎(chǔ)平臺(tái)架構(gòu)實(shí)現(xiàn)基于容器的云計(jì)算平臺(tái)任務(wù)處理，對于云計(jì)算平臺(tái)而言具有非常積極的意義，但是如何基于現(xiàn)有的現(xiàn)有容器基礎(chǔ)平臺(tái)架構(gòu)實(shí)現(xiàn)基于容器的云計(jì)算平臺(tái)任務(wù)處理，則仍然是一項(xiàng)亟待解決的關(guān)鍵技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題：針對現(xiàn)有技術(shù)的上述問題，提供一種基于容器的云計(jì)算平臺(tái)任務(wù)處理方法、系統(tǒng)及其應(yīng)用方法，本發(fā)明面向有一定編程能力的用戶，提供并行和串行運(yùn)行算法任務(wù)支持，解決了計(jì)算子任務(wù)之間相互依賴的問題，可根據(jù)自身業(yè)務(wù)自定義任務(wù)處理，將計(jì)算子任務(wù)使用容器結(jié)合現(xiàn)有容器資源編排調(diào)度完成業(yè)務(wù)處理，能夠有效提高平臺(tái)實(shí)用性及優(yōu)化平臺(tái)的資源效能。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

一種基于容器的云計(jì)算平臺(tái)任務(wù)處理方法，實(shí)施步驟包括：

1）接收提交的計(jì)算任務(wù)A，計(jì)算任務(wù)A包含至少一個(gè)計(jì)算子任務(wù)；

2）針對計(jì)算任務(wù)A中的每一個(gè)計(jì)算子任務(wù)A_i，跳轉(zhuǎn)執(zhí)行步驟3）；

3）為計(jì)算子任務(wù)A_i選擇客戶端節(jié)點(diǎn)，在選擇的客戶端節(jié)點(diǎn)中創(chuàng)建容器containerA_ij，其中containerA_ij表示針對子任務(wù)A_i第j次創(chuàng)建的容器；

4）判斷計(jì)算子任務(wù)A_i中是否有循環(huán)屬性，如果存在循環(huán)屬性則將循環(huán)計(jì)數(shù)加1，判斷循環(huán)計(jì)數(shù)的值是否等于循環(huán)屬性的值，如果不等于循環(huán)屬性的值，則跳轉(zhuǎn)執(zhí)行步驟3）；否則，跳轉(zhuǎn)執(zhí)行步驟5）；

5）判斷計(jì)算子任務(wù)A_i是否有依賴屬性，如果沒有依賴屬性則跳轉(zhuǎn)執(zhí)行步驟6）；否則，監(jiān)控依賴屬性對應(yīng)的目標(biāo)計(jì)算子任務(wù)A_n是否運(yùn)行完畢，當(dāng)目標(biāo)計(jì)算子任務(wù)A_n運(yùn)行完畢時(shí)跳轉(zhuǎn)執(zhí)行步驟6）；