[發(fā)明專利]面向Spark JDBC的任務(wù)優(yōu)先級控制的實(shí)現(xiàn)方法及裝置

在審

• 申請?zhí)枺?/td>: 201910122390.2
• 申請日: 2019-02-18
• 公開（公告）號: CN109857535A
• 公開（公告）日: 2019-06-07
• 發(fā)明（設(shè)計(jì)）人: 劉欣然;張鴻;惠榛;呂雁飛;馬秉楠;李斌斌;王振宇;黃航;王樹鵬
• 申請（專利權(quán)）人: 國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/242;G06F16/25
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 李勤媛

1.一種面向Spark JDBC的任務(wù)優(yōu)先級控制的實(shí)現(xiàn)方法，其特征在于，包括：

SparkJdbc服務(wù)在啟動(dòng)時(shí)根據(jù)預(yù)先編寫好的優(yōu)先級隊(duì)列描述XML文件建立多個(gè)任務(wù)優(yōu)先級隊(duì)列；

接收用戶通過Jdbc接口下發(fā)的指定優(yōu)先級隊(duì)列命令，完成Jdbc會(huì)話級別的優(yōu)先級設(shè)置；

接收用戶提交的檢索SQL，將SQL語句經(jīng)過多個(gè)分析規(guī)劃過程后生成一個(gè)Spark Task集合并被添加到相應(yīng)名稱的目標(biāo)優(yōu)先級隊(duì)列中；

通過資源調(diào)度器根據(jù)各個(gè)優(yōu)先級隊(duì)列之間的資源分配策略和隊(duì)列內(nèi)部的資源分配策略進(jìn)行硬件資源的調(diào)度分配，將Spark Task分發(fā)到各個(gè)計(jì)算節(jié)點(diǎn)上的Task執(zhí)行器上進(jìn)行執(zhí)行。

2.如權(quán)利要求1所述的方法，其特征在于，所述任務(wù)優(yōu)先級隊(duì)列包括：名稱、優(yōu)先級級別、權(quán)重和內(nèi)部資源調(diào)度模式。

3.如權(quán)利要求1所述的方法，其特征在于，在用戶提交檢索SQL后，所述方法進(jìn)一步包括：

在任務(wù)調(diào)度器中的相應(yīng)優(yōu)先級隊(duì)列中注冊該檢索SQL任務(wù)，并獲取該優(yōu)先級隊(duì)列的實(shí)時(shí)運(yùn)行SQL數(shù)量和任務(wù)限額數(shù)量，判斷相應(yīng)目標(biāo)任務(wù)優(yōu)先級隊(duì)列是否超出限額，并確認(rèn)目標(biāo)任務(wù)優(yōu)先級隊(duì)列未超出限額；如果判斷相應(yīng)目標(biāo)任務(wù)優(yōu)先級隊(duì)列已超出限額，則向用戶返回因超出并發(fā)限額而拒絕檢索的信息。

4.如權(quán)利要求1所述的方法，其特征在于，通過資源調(diào)度器根據(jù)各個(gè)優(yōu)先級隊(duì)列之間的資源分配策略進(jìn)行硬件資源的調(diào)度分配具體包括：

步驟1，統(tǒng)計(jì)Spark系統(tǒng)中可使用的運(yùn)算資源數(shù)量，包括CPU核數(shù)和內(nèi)存數(shù)量；

步驟2，讀取各優(yōu)先級隊(duì)列的屬性，包括優(yōu)先級級別和權(quán)重值；

步驟3，從各優(yōu)先級隊(duì)列的優(yōu)先級級別中選取最高級別；

步驟4，計(jì)算優(yōu)先級級別為當(dāng)前最高優(yōu)先級級別的隊(duì)列的權(quán)重值比值；

步驟5，將未進(jìn)行調(diào)度分配的運(yùn)算資源按所計(jì)算得到的比值，分配給這幾個(gè)優(yōu)先級隊(duì)列；

步驟6，判斷是否存在更低優(yōu)先級級別的優(yōu)先級隊(duì)列，若是則進(jìn)入步驟7；否則結(jié)束該流程；

步驟7，判斷是否存在未被調(diào)度分配的運(yùn)算資源，若是則進(jìn)入步驟4；否則進(jìn)入結(jié)束該流程；

步驟8，選取更低一級的優(yōu)先級級別。

5.如權(quán)利要求1所述的方法，其特征在于，通過資源調(diào)度器根據(jù)隊(duì)列內(nèi)部的資源分配策略進(jìn)行硬件資源的調(diào)度分配具體包括：

步驟1，讀取當(dāng)前隊(duì)列的內(nèi)部調(diào)度模式，若為先進(jìn)先出，則進(jìn)入步驟2；否則進(jìn)入步驟4；

步驟2，在該優(yōu)先級隊(duì)列的Spark Task集合中選取創(chuàng)建時(shí)間最早的Spark Task，將一定數(shù)量的資源分配給這個(gè)Task，并執(zhí)行該Task；

步驟3，判斷是否存在未被調(diào)度分配的剩余資源且存在未進(jìn)行資源分配的Spark Task，若是則進(jìn)入步驟2；否則結(jié)束該流程；

步驟4，將該優(yōu)先級隊(duì)列中的Spark Task按照原本的檢索SQL進(jìn)行分組；

步驟5，統(tǒng)計(jì)所分組的每一組Task集合中正在執(zhí)行的Task數(shù)量；

步驟6，將一定數(shù)量的資源分配給步驟5中所統(tǒng)計(jì)出的正在執(zhí)行的Spark Task數(shù)量最少的Spark Task組中的一個(gè)Spark Task；

步驟7，判斷是否存在未被調(diào)度分配的剩余資源且存在未進(jìn)行資源分配的Spark Task，若是則進(jìn)入步驟5；否則結(jié)束該流程。

6.一種面向Spark JDBC的任務(wù)優(yōu)先級控制的實(shí)現(xiàn)裝置，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5中任一項(xiàng)所述的步驟。