[發明專利]一種業務處理方法、計算機設備和客戶端

有效

• 申請號: 201810437912.3
• 申請日: 2018-05-09
• 公開（公告）號: CN110209422B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 朱鋒;張韶全
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F8/71
• 分類號: G06F8/71
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請實施例公開了一種業務處理方法、計算機設備和客戶端，用于方便數據分析人員使用Spark SQL，擴大Spark SQL的應用范圍。本申請實施例提供的技術方案如下：將指定邏輯封裝成通用程序并保存；接收客戶端提交的可編程語句；根據所述可編程語句和所述通用程序封裝生成應用程序；為所述應用程序申請對應的集群資源以運行所述應用程序。

技術領域

本申請涉及大數據領域，尤其涉及一種業務處理方法、服務器和客戶端。

背景技術

隨著信息化的深入推進和人類日益普及的網絡行為，大數據和云計算的概念應運而生。近年來，大數據應用的爆發性增長，已經衍生出獨特的架構，并直接推動了存儲、網絡以及計算技術的研究?；趦却娴姆植际接嬎憧蚣躍park作為Apache社區的頂級開源項目，吸引了全世界各大公司和開發人員的參與。經過多年的發展，Spark已經形成了完整的生態圈，并成為業界大數據處理的事實標準。作為Spark生態圈中的重要成員，Spark SQL為用戶提供了結構化數據處理和SQL(Structured Query Language)查詢分析的功能，使得不同業務領域的分析人員只需要通過SQL語句即能夠透明地利用Spark完成海量數據的處理。

在面向多用戶的生產環境中，Spark SQL底層通常會基于YARN(Yet AnotherResource Negotiator)資源協調系統來進行業務管理。用戶任務提交后，YARN動態分配集群資源；任務結束后，YARN回收相應的集群資源。

發明內容

本申請實施例提供了一種業務處理方法、計算機設備和客戶端，用于方便數據分析人員使用Spark SQL，擴大Spark SQL的應用范圍。

一方面，本申請實施例提供一種業務處理方法，包括：

計算機設備將指定邏輯封裝成通用程序并保存；接收客戶端提交的可編程語句；根據所述可編程語句和所述通用程序封裝生成應用程序；為所述應用程序申請對應的集群資源以運行所述應用程序。

另一方面，本申請實施例提供一種業務處理方法，包括：

客戶端向服務器提交可編程語句，以使得所述服務器根據所述可編程語句和通用程序封裝生成應用程序；以及為所述應用程序申請對應的集群資源以運行所述應用程序，所述通用程序由指定邏輯封裝生成；最后關閉該應用程序。

另一方面，本申請實施例提供一種計算機設備，包括：

處理模塊，用于將指定邏輯封裝成通用程序并保存；

接收模塊，用于接收客戶端提交的可編程語句；

所述處理模塊，用于根據所述可編程語句和所述通用程序封裝生成應用程序；為所述應用程序申請對應的集群資源以運行所述應用程序。

另一方面，本申請實施例提供一種計算機設備，包括：

存儲器、收發器、處理器以及總線；

其中，所述存儲器用于存儲程序；

所述處理器用于執行所述存儲器中的程序，包括如下步驟：

將指定邏輯封裝成通用程序并保存；

接收客戶端提交的可編程語句；

根據所述可編程語句和所述通用程序封裝生成應用程序；為所述應用程序申請對應的集群資源以運行所述應用程序。

所述總線用于連接所述存儲器以及所述處理器，以使所述存儲器以及所述處理器進行通信。

另一方面，本申請實施例提供一種客戶端，包括：