[發(fā)明專利]Spark-SQL調度的方法、系統(tǒng)、設備及存儲介質

有效

• 申請?zhí)枺?/td>: 201711283361.1
• 申請日: 2017-12-07
• 公開（公告）號: CN107944004B
• 公開（公告）日: 2020-09-29
• 發(fā)明（設計）人: 吳志龍
• 申請（專利權）人: 深圳樂信軟件技術有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2453
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發(fā)明實施例公開了一種Spark?SQL調度的方法、系統(tǒng)、設備及存儲介質。該方法包括：Spark執(zhí)行引擎接收用戶的SQL查詢請求；Spark執(zhí)行引擎根據用戶配置信息查找對應的SparkThriftServer配置角色信息；將查找到的配置角色信息與用戶配置信息一致的待調度的SparkThriftServer；調度待調度的SparkThriftServer執(zhí)行SQL查詢請求。本發(fā)明實施例通過根據用戶配置信息查找對應的配置角色信息確定待調度的SparkThriftServer執(zhí)行SQL查詢請求，以實現解決多用戶同時執(zhí)行SQL任務造成Spark擁堵的問題，幫助分析人員快速的完成業(yè)務。

技術領域

本發(fā)明實施例涉及大數據調度技術領域，尤其涉及一種Spark-SQL調度的方法、系統(tǒng)、設備及存儲介質。

背景技術

Spark技術已經是大數據技術中公認的最有發(fā)展、使用最多一門技術，是當前各行各業(yè)爭相推動和依賴的技術。

Spark作為一個通用引擎，能夠用來完成各種各樣的運算，其中包括SQL查詢、文本處理和機器學習等。在互聯(lián)網、電子商務、消費金融等各種各樣的行業(yè)中，大量數據分析人員每天運行數以萬記的Spark-SQL任務作為數據分析和業(yè)務決策，但由于緩慢的HIVE分析技術已經不能滿足日益增長的數據、分析速度和頻次。

針對復雜、多樣的SQL提交到Spark，常用的方案(beeline等方式)只能使用固定資源，不能智能的選擇空閑Spark進行分析，分析人員也無法快速切換Spark，常常處于等待他人狀態(tài)，浪費時間。

發(fā)明內容

本發(fā)明實施例提供一種Spark-SQL調度的方法、系統(tǒng)、設備及存儲介質，以實現有效解決多用戶同時執(zhí)行SQL任務造成Spark擁堵的問題，智能選擇出較空閑Spark來幫助分析人員快速的完成業(yè)務，節(jié)約分析人員的時間。

第一方面，本發(fā)明實施例提供了一種Spark-SQL調度的方法，該方法包括：

Spark執(zhí)行引擎接收用戶的SQL查詢請求，所述SQL查詢請求包括用戶配置信息；

所述Spark執(zhí)行引擎根據用戶配置信息查找對應角色下的SparkThriftServer的SparkThriftServer配置角色信息；

所述Spark執(zhí)行引擎將查找到的配置角色信息與所述用戶配置信息一致的SparkThriftServer通過最小值算法確定待調度的SparkThriftServer；

所述Spark執(zhí)行引擎調度所述待調度的SparkThriftServer執(zhí)行所述SQL查詢請求。

第二方面，本發(fā)明實施例還提供了一種Spark-SQL調度的系統(tǒng)，該系統(tǒng)包括：

請求接收模塊，用于Spark執(zhí)行引擎接收用戶的SQL查詢請求，所述SQL查詢請求包括用戶配置信息；

信息查找模塊，用于所述Spark執(zhí)行引擎根據用戶配置信息查找對應角色下的SparkThriftServer的SparkThriftServer配置角色信息；

待調度確定模塊，用于所述Spark執(zhí)行引擎將查找到的配置角色信息與所述用戶配置信息一致的SparkThriftServer通過最小值算法確定待調度的SparkThriftServer；

請求執(zhí)行模塊，用于所述Spark執(zhí)行引擎調度所述待調度的SparkThriftServer執(zhí)行所述SQL查詢請求。

第三方面，本發(fā)明實施例還提供了一種設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現本發(fā)明實施例任一所述的Spark-SQL調度的方法。