[發明專利]一種集群的數據處理方法及裝置

有效

• 申請號: 201611193097.8
• 申請日: 2016-12-21
• 公開（公告）號: CN108234566B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 李靜;李爐陽
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 蔣冬梅;栗若木

1.一種集群的數據處理方法，其特征在于，包括：

獲取第一預定時長內多個集群上運行的任務的屬性信息；

根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群，以便將所述待復制數據復制到所述目標集群；

其中，所述根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群，包括：

根據獲取的任務的屬性信息，從任務跨集群讀取的數據中，篩選出第一參數值滿足第一條件且第二參數值滿足第二條件的數據作為待復制數據；

其中，針對每個任務跨集群讀取的數據，所述第一參數值為在第二預定時長內運行所述任務的集群讀取所述數據的次數；所述第二參數值為在第一預定時長內所述第一參數值滿足第一條件的總次數或連續次數；所述第二預定時長小于所述第一預定時長；

每個任務的屬性信息至少包括：運行所述任務的集群、所述任務所讀取的數據所在的集群；

所述第一條件包括：所述第一參數值大于或等于第一閾值；所述第二條件包括：所述第二參數值大于或等于第二閾值。

2.根據權利要求1所述的集群的數據處理方法，其特征在于，所述根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群之后，所述數據處理方法還包括：

生成復制列表，所述復制列表用于記錄所述待復制數據的位置信息、需要復制所述待復制數據的目標集群；

將所述復制列表寫入元數據庫，以便相關集群獲取所述復制列表。

3.根據權利要求2所述的集群的數據處理方法，其特征在于，所述數據處理方法還包括：指示目標集群根據所述復制列表，復制所述待復制數據。

4.根據權利要求1所述的集群的數據處理方法，其特征在于，所述獲取第一預定時長內多個集群上運行的任務的屬性信息，包括：周期性獲取第一預定時長內多個集群上運行的任務的屬性信息。

5.一種集群的數據處理裝置，其特征在于，包括：

獲取單元，用于獲取第一預定時長內多個集群上運行的任務的屬性信息；

處理單元，用于根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群，以便將所述待復制數據復制到所述目標集群；

所述處理單元，用于通過以下方式根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群：

根據獲取的任務的屬性信息，從任務跨集群讀取的數據中，篩選出第一參數值滿足第一條件且第二參數值滿足第二條件的數據作為待復制數據；

其中，針對每個任務跨集群讀取的數據，所述第一參數值為在第二預定時長內運行所述任務的集群讀取所述數據的次數；所述第二參數值為在第一預定時長內所述第一參數值滿足第一條件的總次數或連續次數；所述第二預定時長小于所述第一預定時長；

每個任務的屬性信息至少包括：運行所述任務的集群、所述任務所讀取的數據所在的集群；

所述第一條件包括：所述第一參數值大于或等于第一閾值；所述第二條件包括：所述第二參數值大于或等于第二閾值。

6.根據權利要求5所述的集群的數據處理裝置，其特征在于，所述處理單元，還用于在根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群之后，生成復制列表，將所述復制列表寫入元數據庫，以便相關集群獲取所述復制列表；其中，所述復制列表用于記錄所述待復制數據的位置信息、需要復制所述待復制數據的目標集群。

7.一種集群的數據處理裝置，其特征在于，包括：存儲器與處理器；

其中，存儲器用于存儲用于進行集群數據處理的程序；該用于進行集群數據處理的程序在被處理器讀取執行時，執行以下操作：

獲取第一預定時長內多個集群上運行的任務的屬性信息；

根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群，以便將所述待復制數據復制到所述目標集群；

其中，所述根據獲取的任務的屬性信息，確定待復制數據以及需要復制所述待復制數據的目標集群，包括：

根據獲取的任務的屬性信息，從任務跨集群讀取的數據中，篩選出第一參數值滿足第一條件且第二參數值滿足第二條件的數據作為待復制數據；

其中，針對每個任務跨集群讀取的數據，所述第一參數值為在第二預定時長內運行所述任務的集群讀取所述數據的次數；所述第二參數值為在第一預定時長內所述第一參數值滿足第一條件的總次數或連續次數；所述第二預定時長小于所述第一預定時長；

每個任務的屬性信息至少包括：運行所述任務的集群、所述任務所讀取的數據所在的集群；

所述第一條件包括：所述第一參數值大于或等于第一閾值；所述第二條件包括：所述第二參數值大于或等于第二閾值。