[發明專利]分布式計算系統中的數據處理方法和裝置

在審

• 申請號: 201710347520.3
• 申請日: 2017-05-17
• 公開（公告）號: CN107037989A
• 公開（公告）日: 2017-08-11
• 發明（設計）人: 張震;周應超
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 北京同立鈞成知識產權代理有限公司11205
• 代理人: 楊文娟,劉芳

技術領域

本公開涉及數據處理技術，尤其涉及一種分布式計算系統中的數據處理方法和裝置。

背景技術

隨著互聯網的發展，人類正式進入了信息爆炸時代，海量數據的計算和存儲迫切需要，常規的單機計算模式已經不能支撐如此巨大的數據量，因此，分布式計算系統與云計算出現。分布式計算系統將任務分擔到多臺機器上，讓每臺機器都承擔一部分的計算和數據存儲任務。

在目前的分布式計算系統中，不同任務的執行都是獨立的，即使任務十分相似，例如請求相同的數據、做類似的操作，也需要從頭開始執行整個計算流程，資源的浪費現象嚴重。

發明內容

為克服相關技術中存在的問題，本公開提供一種分布式計算系統中的數據處理方法和裝置。

根據本公開實施例的第一方面，提供一種分布式計算系統中的數據處理方法，包括：

接收數據處理請求，所述數據處理請求用于請求對待處理任務進行處理；

判斷處理完成的任務中是否存在所述待處理任務的相似任務；

如果所述處理完成的任務中存在所述待處理任務的相似任務，則從內存中讀取所述待處理任務的相似任務的中間處理結果，所述內存中存儲有所述處理完成的任務的中間處理結果；

根據所述待處理任務的相似任務的中間處理結果對所述待處理任務進行處理。

可選的，所述方法還包括：

如果所述處理完成的任務中不存在所述待處理任務的相似任務，則從磁盤中讀取所述待處理任務的源數據；

根據所述待處理任務的源數據對所述待處理任務進行處理；

將所述待處理任務的中間處理結果存儲到所述內存中。

可選的，所述將所述待處理任務的中間處理結果存儲到所述內存中之前，還包括：

從所述數據處理請求中獲取存儲指示信息，所述存儲指示信息用于指示將所述待處理任務的中間處理結果存儲到所述內存中；

將所述待處理任務的中間處理結果存儲到所述內存中，包括：

根據所述存儲指示信息將所述待處理任務的中間處理結果存儲到所述內存中。

可選的，所述判斷處理完成的任務中是否存在所述待處理任務的相似任務之前，還包括：

通過對所述數據處理請求進行語法分析，提取所述待處理任務的關鍵信息；

所述判斷處理完成的任務中是否存在所述待處理任務的相似任務，包括：

判斷數據庫中是否存在與所述待處理任務的關鍵信息匹配的任務，所述數據庫中存儲有所述處理完成的任務的關鍵信息；

當所述數據庫中存在與所述待處理任務的關鍵信息匹配的任務時，確定所述處理完成的任務中存在所述待處理任務的相似任務；

當所述數據庫中不存在與所述待處理任務的關鍵信息匹配的任務時，確定所述處理完成的任務中不存在所述待處理任務的相似任務。

可選的，所述數據庫中還存儲有所述處理完成的任務在所述內存中的地址；

所述從內存中讀取所述待處理任務的相似任務的中間處理結果，包括：

從所述數據庫中查找所述待處理任務的相似任務在所述內存中的地址；

根據所述待處理任務的相似任務在所述內存中的地址，從所述內存中讀取所述待處理任務的相似任務的中間處理結果。

可選的，任務的關鍵信息包括以下信息中的一個或多個：任務的源數據的地址、表名、列名和過濾條件。

可選的，所述方法還包括：

根據所述處理完成的任務的中間處理結果的訪問頻率，對所述內存中存儲的所述處理完成的任務的中間處理結果進行淘汰。

根據本公開實施例的第二方面，提供一種分布式計算系統中的數據處理裝置，包括：

接收模塊，被配置為接收數據處理請求，所述數據處理請求用于請求對待處理任務進行處理；

判斷模塊，被配置為判斷處理完成的任務中是否存在所述待處理任務的相似任務；

第一讀取模塊，被配置為當所述處理完成的任務中存在所述待處理任務的相似任務時，從內存中讀取所述待處理任務的相似任務的中間處理結果，所述內存中存儲有所述處理完成的任務的中間處理結果；

第一處理模塊，被配置為根據所述待處理任務的相似任務的中間處理結果對所述待處理任務進行處理。

可選的，所述裝置還包括：

第二讀取模塊，被配置為當所述處理完成的任務中不存在所述待處理任務的相似任務時，從磁盤中讀取所述待處理任務的源數據；

第二處理模塊，被配置為根據所述待處理任務的源數據對所述待處理任務進行處理；