[發(fā)明專利]分布式計算系統(tǒng)中的數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201710347520.3
• 申請日: 2017-05-17
• 公開（公告）號: CN107037989A
• 公開（公告）日: 2017-08-11
• 發(fā)明（設(shè)計）人: 張震;周應(yīng)超
• 申請（專利權(quán)）人: 北京小米移動軟件有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司11205
• 代理人: 楊文娟,劉芳

1.一種分布式計算系統(tǒng)中的數(shù)據(jù)處理方法，其特征在于，包括：

接收數(shù)據(jù)處理請求，所述數(shù)據(jù)處理請求用于請求對待處理任務(wù)進行處理；

判斷處理完成的任務(wù)中是否存在所述待處理任務(wù)的相似任務(wù)；

如果所述處理完成的任務(wù)中存在所述待處理任務(wù)的相似任務(wù)，則從內(nèi)存中讀取所述待處理任務(wù)的相似任務(wù)的中間處理結(jié)果，所述內(nèi)存中存儲有所述處理完成的任務(wù)的中間處理結(jié)果；

根據(jù)所述待處理任務(wù)的相似任務(wù)的中間處理結(jié)果對所述待處理任務(wù)進行處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

如果所述處理完成的任務(wù)中不存在所述待處理任務(wù)的相似任務(wù)，則從磁盤中讀取所述待處理任務(wù)的源數(shù)據(jù)；

根據(jù)所述待處理任務(wù)的源數(shù)據(jù)對所述待處理任務(wù)進行處理；

將所述待處理任務(wù)的中間處理結(jié)果存儲到所述內(nèi)存中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述待處理任務(wù)的中間處理結(jié)果存儲到所述內(nèi)存中之前，還包括：

從所述數(shù)據(jù)處理請求中獲取存儲指示信息，所述存儲指示信息用于指示將所述待處理任務(wù)的中間處理結(jié)果存儲到所述內(nèi)存中；

將所述待處理任務(wù)的中間處理結(jié)果存儲到所述內(nèi)存中，包括：

根據(jù)所述存儲指示信息將所述待處理任務(wù)的中間處理結(jié)果存儲到所述內(nèi)存中。

4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述判斷處理完成的任務(wù)中是否存在所述待處理任務(wù)的相似任務(wù)之前，還包括：

通過對所述數(shù)據(jù)處理請求進行語法分析，提取所述待處理任務(wù)的關(guān)鍵信息；

所述判斷處理完成的任務(wù)中是否存在所述待處理任務(wù)的相似任務(wù)，包括：

判斷數(shù)據(jù)庫中是否存在與所述待處理任務(wù)的關(guān)鍵信息匹配的任務(wù)，所述數(shù)據(jù)庫中存儲有所述處理完成的任務(wù)的關(guān)鍵信息；

當(dāng)所述數(shù)據(jù)庫中存在與所述待處理任務(wù)的關(guān)鍵信息匹配的任務(wù)時，確定所述處理完成的任務(wù)中存在所述待處理任務(wù)的相似任務(wù)；

當(dāng)所述數(shù)據(jù)庫中不存在與所述待處理任務(wù)的關(guān)鍵信息匹配的任務(wù)時，確定所述處理完成的任務(wù)中不存在所述待處理任務(wù)的相似任務(wù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述數(shù)據(jù)庫中還存儲有所述處理完成的任務(wù)在所述內(nèi)存中的地址；

所述從內(nèi)存中讀取所述待處理任務(wù)的相似任務(wù)的中間處理結(jié)果，包括：

從所述數(shù)據(jù)庫中查找所述待處理任務(wù)的相似任務(wù)在所述內(nèi)存中的地址；

根據(jù)所述待處理任務(wù)的相似任務(wù)在所述內(nèi)存中的地址，從所述內(nèi)存中讀取所述待處理任務(wù)的相似任務(wù)的中間處理結(jié)果。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，任務(wù)的關(guān)鍵信息包括以下信息中的一個或多個：任務(wù)的源數(shù)據(jù)的地址、表名、列名和過濾條件。

7.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，還包括：

根據(jù)所述處理完成的任務(wù)的中間處理結(jié)果的訪問頻率，對所述內(nèi)存中存儲的所述處理完成的任務(wù)的中間處理結(jié)果進行淘汰。

8.一種分布式計算系統(tǒng)中的數(shù)據(jù)處理裝置，其特征在于，包括：

接收模塊，被配置為接收數(shù)據(jù)處理請求，所述數(shù)據(jù)處理請求用于請求對待處理任務(wù)進行處理；

判斷模塊，被配置為判斷處理完成的任務(wù)中是否存在所述待處理任務(wù)的相似任務(wù)；

第一讀取模塊，被配置為當(dāng)所述處理完成的任務(wù)中存在所述待處理任務(wù)的相似任務(wù)時，從內(nèi)存中讀取所述待處理任務(wù)的相似任務(wù)的中間處理結(jié)果，所述內(nèi)存中存儲有所述處理完成的任務(wù)的中間處理結(jié)果；

第一處理模塊，被配置為根據(jù)所述待處理任務(wù)的相似任務(wù)的中間處理結(jié)果對所述待處理任務(wù)進行處理。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括：

第二讀取模塊，被配置為當(dāng)所述處理完成的任務(wù)中不存在所述待處理任務(wù)的相似任務(wù)時，從磁盤中讀取所述待處理任務(wù)的源數(shù)據(jù)；

第二處理模塊，被配置為根據(jù)所述待處理任務(wù)的源數(shù)據(jù)對所述待處理任務(wù)進行處理；

存儲模塊，被配置為將所述待處理任務(wù)的中間處理結(jié)果存儲到所述內(nèi)存中。