[發明專利]面向Spark JDBC的任務優先級控制的實現方法及裝置

在審

• 申請號: 201910122390.2
• 申請日: 2019-02-18
• 公開（公告）號: CN109857535A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 劉欣然;張鴻;惠榛;呂雁飛;馬秉楠;李斌斌;王振宇;黃航;王樹鵬
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/242;G06F16/25
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 李勤媛

本發明公開了一種面向Spark JDBC的任務優先級控制的實現方法及裝置，所述方法包括：SparkJdbc服務在啟動時根據預先編寫好的優先級隊列描述XML文件建立多個任務優先級隊列；接收用戶通過Jdbc接口下發的指定優先級隊列命令，完成Jdbc會話級別的優先級設置；接收用戶提交的檢索SQL，將SQL語句經過多個分析規劃過程后生成一個Spark Task集合并被添加到相應名稱的目標優先級隊列中；通過資源調度器根據各個優先級隊列之間的資源分配策略和隊列內部的資源分配策略進行硬件資源的調度分配，將Spark Task分發到各個計算節點上的Task執行器上進行執行。

技術領域

本發明涉及大數據處理領域，尤其涉及一種面向Spark JDBC的任務優先級控制的實現方法及裝置。

背景技術

隨著計算機技術的不斷發展和信息化程度的不斷提高，數據量迅速增長，面向海量數據存儲及應用也隨之蓬勃發展。在海量數據檢索應用中，Apache基金會的分布式檢索框架SparkJdbc提供了同Hive的HiveQL接口，具有較高的效率及可用性，在該領域被廣泛的使用。

用戶向SparkJdbc提交SQL檢索請求后，SQL語句經過解析生成執行計劃，進而生成SparkRDD，由Spark RDD進行DAG轉換進而生成Spark Stage，最終由Stage生成Spark Task集合。Spark Task是Spark中生成的可以進行分布式并發執行的任務結構，是Spark中任務執行中最小調度單位。在原生Spark中，無法對檢索SQL的執行進行精確的資源調度，各個檢索SQL生成的Spark Task只能被依次執行。無法滿足Jdbc平臺對于各個業務用戶來進行限額控制和優先級控制的需求。

綜上所述，隨著信息化水平的不斷提高，大數據應用越來越廣泛。如，在網絡安全上，使用大數據技術分析網絡攻擊行為；在電子商務上，使用大數據技術分析用戶購物喜好或最受青睞的商品。大數據技術在建設節約型社會，提高生成效率等方面起到了積極的推動作用，而SparkJdbc作為一種優秀的大數據檢索方法被廣泛的使用。但是隨著數據量的不斷增加和大數據技術的不斷發展，SparkJdbc的原生架構無法對資源進行靈活的調度，無法對檢索SQL進行優先級控制，這個問題直接的影響了業務應用。

發明內容

本發明實施例提供一種面向Spark JDBC的任務優先級控制的實現方法及裝置，用以解決現有技術中的上述問題。

本發明實施例提供一種面向Spark JDBC的任務優先級控制的實現方法，包括：

SparkJdbc服務在啟動時根據預先編寫好的優先級隊列描述XML文件建立多個任務優先級隊列；

接收用戶通過Jdbc接口下發的指定優先級隊列命令，完成Jdbc會話級別的優先級設置；

接收用戶提交的檢索SQL，將SQL語句經過多個分析規劃過程后生成一個SparkTask集合并被添加到相應名稱的目標優先級隊列中；

通過資源調度器根據各個優先級隊列之間的資源分配策略和隊列內部的資源分配策略進行硬件資源的調度分配，將Spark Task分發到各個計算節點上的Task執行器上進行執行。

優選地，所述任務優先級隊列包括：名稱、優先級級別、權重和內部資源調度模式。

優選地，在用戶提交檢索SQL后，所述方法進一步包括：

在任務調度器中的相應優先級隊列中注冊該檢索SQL任務，并獲取該優先級隊列的實時運行SQL數量和任務限額數量，判斷相應目標任務優先級隊列是否超出限額，并確認目標任務優先級隊列未超出限額；如果判斷相應目標任務優先級隊列已超出限額，則向用戶返回因超出并發限額而拒絕檢索的信息。

優選地，通過資源調度器根據各個優先級隊列之間的資源分配策略進行硬件資源的調度分配具體包括：