[發明專利]大數據計算方法、計算系統、計算機設備及可讀存儲介質

在審

• 申請號: 201711048689.5
• 申請日: 2017-10-31
• 公開（公告）號: CN107861804A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 金鋒;李長山
• 申請（專利權）人: 用友金融信息技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京友聯知識產權代理事務所(普通合伙)11343
• 代理人: 尚志峰,汪海屏

技術領域

本發明涉及大數據計算技術領域，具體而言，涉及一種大數據計算方法、大數據計算系統、計算機設備、計算機可讀存儲介質。

背景技術

隨著金融機構精細化管理的深入，已經從對機構和部門的盈利，對業務線和產品的關注，發展到對客戶經理，客戶，渠道，項目等多維度經營數據的關注。經營成本分攤已從機構，產品維度細化到賬戶，交易級維度的分攤。

同時隨著原始憑證數據的細化，分攤規則多樣化，相對于原始數據，分攤結果往往呈幾何倍數的增長，結果數據已經達到億級，甚至幾十億的數據量。這對計算的消耗時間，分攤結果核對和查詢效率都提出了非常高的要求，即便在應用某國外高性能內存數據庫的場景下，也需要十個小時甚至更多時間完成一次分攤計算。傳統的應用架構已經不能滿足這樣大數據量，高密度計算的應用需求。

因此，如何解決針對分攤的業務場景深度優化，實現卓越的計算性能和查詢效率提升，讓企業的內部管理更深入、更高效成為亟待解決的問題。

發明內容

本發明旨在至少解決現有技術或相關技術中存在的技術問題之一。

為此，本發明第一個方面在于提出一種大數據計算方法。

本發明的第二個方面在于提出一種大數據計算系統。

本發明的第三個方面在于提出一種計算機設備。

本發明的第四個方面在于提出一種計算機可讀存儲介質。

有鑒于此，根據本發明的一個方面，提出了一種大數據計算方法，包括：獲取待處理任務，根據待處理任務提交計算作業至Spark計算引擎；將計算作業提交至作業列隊中；判斷Spark計算引擎中是否具有調度計算作業所需的物理資源；在Spark計算引擎中具有物理資源時，調度計算作業；控制計算作業加載計算數據，并對計算數據進行計算，以生成計算結果；存儲計算結果。

本發明提供的大數據計算方法，獲取待處理任務，根據待處理任務提交計算作業至Spark計算引擎，實現了自動向Spark計算引擎提交計算作業，Spark計算引擎是可以獨立部署的大數據計算引擎，從架構上，把分析計算任務從業務系統中剝離出來，從而減輕了業務系統的負載。將計算作業提交至作業列隊中，判斷Spark計算引擎中是否具有調度計算作業所需的物理資源，在Spark計算引擎中具有物理資源時，調度計算作業，控制計算作業加載計算數據，并對計算數據進行計算，生成計算結果充分利用了Spark大數據集群資源以及強大的分布式并行處理和內存計算能力、快速查詢的優勢，提高了計算任務的并發數量，提升了多維度分析計算的效率。存儲對數據進行計算的計算結果，新的存儲系統，兼顧順序與隨機讀寫的效率。

根據本發明的上述大數據計算方法，還可以具有以下技術特征：

在上述技術方案中，優選地，在Spark計算引擎中不具有物理資源時，控制計算作業繼續保持在作業列隊中。

在該技術方案中，在資源調度模塊不具備調度作業所需的資源時，不進行作業調度，控制計算作業繼續保持在作業列隊中，等待分配到相關可用資源，當已被調度執行的計算作業任務結束后，釋放相關資源時，再進行調度，進一步進行數據加載以及計算。

在上述任一技術方案中，優選地，控制計算作業加載計算數據，并對計算數據進行計算，以生成計算結果的過程，具體包括：將計算作業的原始數據轉換為彈性分布式數據集；對彈性分布式數據集上進行轉換和操作，以生成計算結果彈性分布式數據集；將計算結果彈性分布式數據集轉換為預設文本結果，并輸出預設文本結果。

在該技術方案中，控制計算作業加載計算數據，并對計算數據進行計算，以生成計算結果的過程，因為原始數據的格式不一定適用Spark計算引擎，那么將計算作業的原始數據轉換為Spark中彈性分布式數據集(RDD)，然后Spark計算引擎對彈性分布式數據集上進行轉換(Transformation)和操作(Action)，就會生成計算結果彈性分布式數據集，最后將計算結果彈性分布式數據集轉換為預設文本結果，并輸出預設文本結果。如此，充分利用了RDD分布式內存的計算能力，實現了計算任務在Spark計算引擎中快速、可靠的計算，提高了計算任務的并發數量，提升了計算效率。

在上述任一技術方案中，優選地，獲取待處理任務，根據待處理任務提交計算作業至Spark計算引擎的過程，具體包括：將獲取的計算作業以RESTful的方式提交至Spark計算引擎。