[發(fā)明專利]大數(shù)據(jù)計算方法、計算系統(tǒng)、計算機設備及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711048689.5
• 申請日: 2017-10-31
• 公開（公告）號: CN107861804A
• 公開（公告）日: 2018-03-30
• 發(fā)明（設計）人: 金鋒;李長山
• 申請（專利權）人: 用友金融信息技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京友聯(lián)知識產(chǎn)權代理事務所(普通合伙)11343
• 代理人: 尚志峰,汪海屏

1.一種大數(shù)據(jù)計算方法，其特征在于，包括：

獲取待處理任務，根據(jù)所述待處理任務提交計算作業(yè)至Spark計算引擎；

將所述計算作業(yè)提交至作業(yè)列隊中；

判斷所述Spark計算引擎中是否具有調(diào)度所述計算作業(yè)所需的物理資源；

在所述Spark計算引擎中具有所述物理資源時，調(diào)度所述計算作業(yè)；

控制所述計算作業(yè)加載計算數(shù)據(jù)，并對所述計算數(shù)據(jù)進行計算，以生成計算結果；

存儲所述計算結果。

2.根據(jù)權利要求1所述的大數(shù)據(jù)計算方法，其特征在于，還包括：

在所述Spark計算引擎中不具有所述物理資源時，控制所述計算作業(yè)繼續(xù)保持在所述作業(yè)列隊中。

3.根據(jù)權利要求1所述的大數(shù)據(jù)計算方法，其特征在于，所述控制所述計算作業(yè)加載計算數(shù)據(jù)，并對所述計算數(shù)據(jù)進行計算，以生成計算結果的過程，具體包括：

將所述計算作業(yè)的原始數(shù)據(jù)轉換為彈性分布式數(shù)據(jù)集；

對所述彈性分布式數(shù)據(jù)集進行轉換和操作，以生成計算結果彈性分布式數(shù)據(jù)集；

將所述計算結果彈性分布式數(shù)據(jù)集轉換為預設文本結果，并輸出所述預設文本結果。

4.根據(jù)權利要求1所述的大數(shù)據(jù)計算方法，其特征在于，獲取待處理任務，根據(jù)所述待處理任務提交計算作業(yè)至Spark計算引擎的過程，具體包括：

將獲取的所述計算作業(yè)以RESTful的方式提交至所述Spark計算引擎。

5.根據(jù)權利要求1至4中任一項所述的大數(shù)據(jù)計算方法，其特征在于，存儲所述計算結果的過程，具體包括：

以多副本的形式存儲所述計算結果。

6.一種大數(shù)據(jù)計算系統(tǒng)，其特征在于，包括：

第一提交單元，用于獲取待處理任務，根據(jù)所述待處理任務提交計算作業(yè)至Spark計算引擎；

第二提交單元，用于將所述計算作業(yè)提交至作業(yè)列隊中；

判斷單元，用于判斷所述Spark計算引擎中是否具有調(diào)度所述計算作業(yè)所需的物理資源；

調(diào)度單元，用于在所述Spark計算引擎中具有所述物理資源時，調(diào)度所述計算作業(yè)；

第一控制單元，用于控制所述計算作業(yè)加載計算數(shù)據(jù)，并對所述計算數(shù)據(jù)進行計算，以生成計算結果；

存儲單元，用于存儲所述計算結果。

7.根據(jù)權利要求6所述的大數(shù)據(jù)計算系統(tǒng)，其特征在于，還包括：

第二控制單元，用于在所述Spark計算引擎中不具有所述物理資源時，控制所述計算作業(yè)繼續(xù)保持在所述作業(yè)列隊中。

8.根據(jù)權利要求6所述的大數(shù)據(jù)計算系統(tǒng)，其特征在于，所述第一控制單元具體包括：

轉換單元，用于將所述計算作業(yè)的原始數(shù)據(jù)轉換為彈性分布式數(shù)據(jù)集；

計算單元，用于對所述彈性分布式數(shù)據(jù)集進行轉換和操作，以生成計算結果彈性分布式數(shù)據(jù)集；

輸出單元，用于將所述計算結果彈性分布式數(shù)據(jù)集轉化為預設文本結果，并輸出所述預設文本結果。

9.根據(jù)權利要求6所述的大數(shù)據(jù)計算系統(tǒng)，其特征在于，所述第一提交單元具體包括：

提交子單元，用于將所述計算作業(yè)以RESTful的方式提交至所述Spark計算引擎。

10.根據(jù)權利要求6至9中任一項所述的大數(shù)據(jù)計算系統(tǒng)，其特征在于，所述存儲單元具體包括：

存儲子單元，用于以多副本的形式存儲所述計算結果。

11.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權利要求1至5中任一項所述大數(shù)據(jù)計算方法的步驟。

12.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至5中任一項所述大數(shù)據(jù)計算方法的步驟。