[發明專利]大數據計算方法、計算系統、計算機設備及可讀存儲介質

在審

• 申請號: 201711048689.5
• 申請日: 2017-10-31
• 公開（公告）號: CN107861804A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 金鋒;李長山
• 申請（專利權）人: 用友金融信息技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京友聯知識產權代理事務所(普通合伙)11343
• 代理人: 尚志峰,汪海屏

1.一種大數據計算方法，其特征在于，包括：

獲取待處理任務，根據所述待處理任務提交計算作業至Spark計算引擎；

將所述計算作業提交至作業列隊中；

判斷所述Spark計算引擎中是否具有調度所述計算作業所需的物理資源；

在所述Spark計算引擎中具有所述物理資源時，調度所述計算作業；

控制所述計算作業加載計算數據，并對所述計算數據進行計算，以生成計算結果；

存儲所述計算結果。

2.根據權利要求1所述的大數據計算方法，其特征在于，還包括：

在所述Spark計算引擎中不具有所述物理資源時，控制所述計算作業繼續保持在所述作業列隊中。

3.根據權利要求1所述的大數據計算方法，其特征在于，所述控制所述計算作業加載計算數據，并對所述計算數據進行計算，以生成計算結果的過程，具體包括：

將所述計算作業的原始數據轉換為彈性分布式數據集；

對所述彈性分布式數據集進行轉換和操作，以生成計算結果彈性分布式數據集；

將所述計算結果彈性分布式數據集轉換為預設文本結果，并輸出所述預設文本結果。

4.根據權利要求1所述的大數據計算方法，其特征在于，獲取待處理任務，根據所述待處理任務提交計算作業至Spark計算引擎的過程，具體包括：

將獲取的所述計算作業以RESTful的方式提交至所述Spark計算引擎。

5.根據權利要求1至4中任一項所述的大數據計算方法，其特征在于，存儲所述計算結果的過程，具體包括：

以多副本的形式存儲所述計算結果。

6.一種大數據計算系統，其特征在于，包括：

第一提交單元，用于獲取待處理任務，根據所述待處理任務提交計算作業至Spark計算引擎；

第二提交單元，用于將所述計算作業提交至作業列隊中；

判斷單元，用于判斷所述Spark計算引擎中是否具有調度所述計算作業所需的物理資源；

調度單元，用于在所述Spark計算引擎中具有所述物理資源時，調度所述計算作業；

第一控制單元，用于控制所述計算作業加載計算數據，并對所述計算數據進行計算，以生成計算結果；

存儲單元，用于存儲所述計算結果。

7.根據權利要求6所述的大數據計算系統，其特征在于，還包括：

第二控制單元，用于在所述Spark計算引擎中不具有所述物理資源時，控制所述計算作業繼續保持在所述作業列隊中。

8.根據權利要求6所述的大數據計算系統，其特征在于，所述第一控制單元具體包括：

轉換單元，用于將所述計算作業的原始數據轉換為彈性分布式數據集；

計算單元，用于對所述彈性分布式數據集進行轉換和操作，以生成計算結果彈性分布式數據集；

輸出單元，用于將所述計算結果彈性分布式數據集轉化為預設文本結果，并輸出所述預設文本結果。

9.根據權利要求6所述的大數據計算系統，其特征在于，所述第一提交單元具體包括：

提交子單元，用于將所述計算作業以RESTful的方式提交至所述Spark計算引擎。

10.根據權利要求6至9中任一項所述的大數據計算系統，其特征在于，所述存儲單元具體包括：

存儲子單元，用于以多副本的形式存儲所述計算結果。

11.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至5中任一項所述大數據計算方法的步驟。

12.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至5中任一項所述大數據計算方法的步驟。