[發(fā)明專利]基于Hadoop集群的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211265436.4
• 申請日: 2022-10-17
• 公開（公告）號: CN115563074A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計）人: 許吉來;羅曉峰;姜帆;張延堂;林發(fā)全;杜騰飛
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/178
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 倪焱

1.一種基于Hadoop集群的數(shù)據(jù)處理方法，其特征在于，包括：

基于相同的軟硬件資源和配置規(guī)則，對至少兩個Hadoop集群進行部署；其中，所述至少兩個Hadoop集群異地部署，且兩個Hadoop集群之間的距離大于距離閾值；

使用調(diào)度平臺對所述至少兩個Hadoop集群同步完成數(shù)據(jù)導(dǎo)入和數(shù)據(jù)加工；

對所述至少兩個Hadoop集群的運行狀態(tài)進行監(jiān)測，確定可用Hadoop集群；

從所述可用Hadoop集群中確定目標Hadoop集群，以對數(shù)據(jù)需求方提供數(shù)據(jù)服務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述使用調(diào)度平臺對所述至少兩個Hadoop集群同步完成數(shù)據(jù)導(dǎo)入和數(shù)據(jù)加工，包括：

控制所述至少兩個Hadoop集群同時從上游數(shù)據(jù)庫中獲取待處理數(shù)據(jù)；

基于作業(yè)調(diào)度平臺，控制所述至少兩個Hadoop集群基于相同的調(diào)度時間和執(zhí)行順序，根據(jù)所述待處理數(shù)據(jù)，進行作業(yè)加工。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述至少兩個Hadoop集群的運行狀態(tài)進行監(jiān)測，確定可用Hadoop集群，包括：

從哨兵集群中確定目標哨兵；其中，所述哨兵集群中不同哨兵之間進行實時通訊并進行數(shù)據(jù)同步；所述哨兵集群中的哨兵數(shù)量為奇數(shù)；

采用所述目標哨兵對所述至少兩個Hadoop集群進行心跳監(jiān)測，確定所述至少兩個Hadoop集群的運行狀態(tài)是否正常；

將運行狀態(tài)正常的Hadoop集群，作為可用Hadoop集群。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述采用所述目標哨兵對所述至少兩個Hadoop集群進行心跳監(jiān)測，確定所述至少兩個Hadoop集群的運行狀態(tài)是否正常之后，還包括：

將運行狀態(tài)異常的Hadoop集群，作為異常Hadoop集群；

對所述異常Hadoop集群進行異常原因排查，并輸出告警信息；其中，所述告警信息包括異常Hadoop集群和異常原因。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，還包括：

對所述異常Hadoop集群進行故障修復(fù)；

對經(jīng)修復(fù)的異常Hadoop集群與可用Hadoop集群之間進行數(shù)據(jù)同步。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述采用所述目標哨兵對所述至少兩個Hadoop集群進行心跳監(jiān)測，確定所述至少兩個Hadoop集群的運行狀態(tài)是否正常，包括：

向所述至少兩個Hadoop集群發(fā)送心跳數(shù)據(jù)；

根據(jù)所述至少兩個Hadoop集群對所述心跳數(shù)據(jù)的響應(yīng)數(shù)據(jù)，確定所述至少兩個Hadoop集群的運行狀態(tài)是否正常。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從可用Hadoop集群中確定目標Hadoop集群，包括：

根據(jù)數(shù)據(jù)需求方的需求地點與Hadoop集群的部署地點之間的距離，從所述可用Hadoop集群中，確定目標Hadoop集群。

8.一種基于Hadoop集群的數(shù)據(jù)處理裝置，其特征在于，包括：

Hadoop集群部署模塊，用于基于相同的軟硬件資源和配置規(guī)則，對至少兩個Hadoop集群進行部署；其中，所述至少兩個Hadoop集群異地部署，且兩個Hadoop集群之間的距離大于距離閾值；

數(shù)據(jù)同步模塊，用于使用調(diào)度平臺對所述至少兩個Hadoop集群同步完成數(shù)據(jù)導(dǎo)入和數(shù)據(jù)加工；

運行狀態(tài)監(jiān)測模塊，用于對所述至少兩個Hadoop集群的運行狀態(tài)進行監(jiān)測，確定可用Hadoop集群；

目標集群確定模塊，用于從所述可用Hadoop集群中確定目標Hadoop集群，以對數(shù)據(jù)需求方提供數(shù)據(jù)服務(wù)。