[發(fā)明專利]數(shù)據(jù)處理方法及服務(wù)器集群

在審

• 申請?zhí)枺?/td>: 201710504831.6
• 申請日: 2017-06-27
• 公開（公告）號: CN107239570A
• 公開（公告）日: 2017-10-10
• 發(fā)明（設(shè)計）人: 尹正軍
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 呂雁葭

1.一種數(shù)據(jù)處理方法，應(yīng)用于包括至少兩種計算框架的集群計算過程，所述方法包括：

當?shù)谝挥嬎憧蚣軋?zhí)行針對第一數(shù)據(jù)表的操作時，判斷分布式內(nèi)存系統(tǒng)中是否存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息；以及

若不存在，則執(zhí)行所述針對第一數(shù)據(jù)表的操作，并將所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息同步到所述分布式內(nèi)存系統(tǒng)中。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

若分布式內(nèi)存系統(tǒng)中存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息，則所述第一計算框架從所述分布式內(nèi)存系統(tǒng)中加載所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息同步到所述分布式內(nèi)存系統(tǒng)中，包括：

判斷所述第一數(shù)據(jù)表是否屬于可能被不同計算框架共用的數(shù)據(jù)表，所述可能被不同計算框架共用的數(shù)據(jù)表是基于數(shù)據(jù)表查詢計劃的統(tǒng)計數(shù)據(jù)確定的；以及

若屬于，則將所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息同步到所述分布式內(nèi)存系統(tǒng)中。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述執(zhí)行針對第一數(shù)據(jù)表的操作包括：

運行針對第一數(shù)據(jù)表的查詢執(zhí)行計劃。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述判斷分布式內(nèi)存系統(tǒng)中是否存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息，包括：

所述第一計算框架獲取其他計算框架同步到所述分布式內(nèi)存系統(tǒng)的數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息，其中，所述至少兩個計算框架中的每個計算框架的存儲類是經(jīng)過擴展的；以及

判斷分布式內(nèi)存系統(tǒng)中是否存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息。

6.一種服務(wù)器集群，包括：

至少一個處理器；以及

至少一個存儲器，其上存儲有計算機可讀程序，當所述程序被所述至少一個處理器執(zhí)行時，使得所述至少一個處理器：

在第一計算框架執(zhí)行針對第一數(shù)據(jù)表的操作的情況下，判斷分布式內(nèi)存系統(tǒng)中是否存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息；以及

在分布式內(nèi)存系統(tǒng)中不存在所述第一數(shù)據(jù)表的情況下，執(zhí)行所述針對第一數(shù)據(jù)表的操作，并將所述第一數(shù)據(jù)表同步到所述分布式內(nèi)存系統(tǒng)中。

7.根據(jù)權(quán)利要求6所述的服務(wù)器集群，所述至少一個處理器還執(zhí)行：

在分布式內(nèi)存系統(tǒng)中存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息的情況下，使所述第一計算框架從所述分布式內(nèi)存系統(tǒng)中加載所述第一數(shù)據(jù)表中的數(shù)據(jù)對應(yīng)的數(shù)據(jù)信息。

8.根據(jù)權(quán)利要求6所述的服務(wù)器集群，所述至少一個處理器執(zhí)行將所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息同步到所述分布式內(nèi)存系統(tǒng)中，包括：

判斷所述第一數(shù)據(jù)表是否屬于可能被不同計算框架共用的數(shù)據(jù)表，所述可能被不同計算框架共用的數(shù)據(jù)表是基于數(shù)據(jù)表查詢計劃的統(tǒng)計數(shù)據(jù)確定的；以及

若屬于，則將所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息同步到所述分布式內(nèi)存系統(tǒng)中。

9.根據(jù)權(quán)利要求6所述的服務(wù)器集群，其中，所述至少一個處理器執(zhí)行針對第一數(shù)據(jù)表的操作包括：

運行針對第一數(shù)據(jù)表的查詢執(zhí)行計劃。

10.根據(jù)權(quán)利要求6所述的服務(wù)器集群，其中，所述至少一個處理器判斷分布式內(nèi)存系統(tǒng)中是否存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息，包括：

所述第一計算框架獲取其他計算框架同步到所述分布式內(nèi)存系統(tǒng)的數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息，其中，所述至少兩個計算框架中的每個計算框架的存儲類是經(jīng)過擴展的；以及

判斷分布式內(nèi)存系統(tǒng)中是否存在所述第一數(shù)據(jù)表對應(yīng)的數(shù)據(jù)信息。