[發明專利]一種大數據計算方法及裝置

有效

• 申請號: 201711477575.2
• 申請日: 2017-12-29
• 公開（公告）號: CN110007914B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 董俊杰
• 申請（專利權）人: 珠海市君天電子科技有限公司
• 主分類號: G06F8/36
• 分類號: G06F8/36
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

本發明實施例提供了一種大數據計算方法及裝置，其中，大數據計算方法，包括：獲取大數據任務；從所述大數據任務中分離出獨有業務和與預設業務相同的公共業務；其中，所述預設業務為：預設的多種大數據計算中包含的相同的業務，所述獨有業務為除所述預設業務以外的任務；針對每個公共業務，從預先編寫的所有預設業務的計算腳本中，獲取與所述公共業務相同的預設業務的第一計算腳本；針對每個公共業務，獲取對應的第一計算數據；將各個公共業務對應的第一計算數據添加至對應的各個第一計算腳本中，并分別按照各個第一計算腳本進行運算；獲取對應于各個獨有業務的第二計算數據；針對每個獨有業務，獲取與每個獨有業務對應的第二計算腳本進行運算。

技術領域

本發明涉及大數據計算領域，特別是涉及一種大數據計算方法及裝置。

背景技術

隨著社會的進步和科技的發展，大數據big data作為科技時代的產物，也得到了廣泛的應用。大數據big data是指無法在預設時間范圍內用常規軟件工具進行捕捉、管理和處理，需要更加復雜的新處理模式進行處理的數據集合。下面以大數據云服務平臺作為大數據對應的產品為例。該大數據云服務平臺包括：對象存儲服務及關系型數據庫。對象存儲服務及關系型數據庫分別會對云數據進行運算。將對象存儲服務及關系型數據庫的大數據的運算，看作為一個大數據任務。

目前利用大數據任務中各種業務數據對應的計算腳本，具體通過執行如下步驟實現對大數據的運算：

針對每個產品的大數據或者單個產品的多個大數據進行運算時，編碼人員預先都對應于每個產品，編寫各個業務數據所對應的計算腳本；在使用該產品時，利用該產品中各種業務數據對應的計算腳本完成對大數據的運算。示例性地，大數據任務中各個業務數據對應的計算腳本包括：對象存儲服務對應的云數據處理計算腳本、對象存儲服務對應的日志記錄計算腳本、關系型數據庫對應的云數據處理計算腳本及關系型數據庫對應的日志記錄計算腳本。對象存儲服務會使用對象存儲服務對應的云數據處理計算腳本，對云數據進行處理，產生日志；用對象存儲服務對應的日志記錄計算腳本，記錄該日志；關系型數據庫會使用關系型數據庫對應的云數據處理計算腳本，對云數據進行處理，產生日志，用關系型數據庫對應的日志記錄計算腳本，記錄該日志。

然而，發明人在實現本發明的過程中，發現現有技術至少存在如下問題：

現有技術針對一個產品一個產品編寫對應的計算腳本。這些產品即使有相同業務，也是分開編寫這些產品相同業務的計算腳本。比如對象存儲服務及關系型數據庫都有記錄該日志的業務。針對記錄該日志的相同業務，也是分開編寫計算腳本。這樣需要人工重復編寫相同業務對應的計算腳本，浪費了人力，降低了業務處理的效率。

發明內容

本發明實施例的目的在于提供一種大數據計算方法及裝置，以實現大數據任務對應的相同業務的計算腳本的重復使用，減少人工成本、提高業務處理的效率。具體技術方案如下：

第一方面，本發明實施例提供了一種大數據計算方法，包括：

獲取大數據任務；

從所述大數據任務中分離出獨有業務和與預設業務相同的公共業務；其中，所述預設業務為：預設的多種大數據計算中包含的相同的業務，所述獨有業務為除所述預設業務以外的任務；

針對每個公共業務，從預先編寫的所有預設業務的計算腳本中，獲取與所述公共業務相同的預設業務的第一計算腳本；

針對每個公共業務，獲取對應的第一計算數據；

將各個公共業務對應的第一計算數據添加至對應的各個第一計算腳本中，并分別按照各個第一計算腳本進行運算；

獲取對應于各個獨有業務的第二計算數據；針對每個獨有業務，獲取與每個獨有業務對應的第二計算腳本進行運算。

可選的，所述獲取大數據任務，包括：