[發(fā)明專利]共用數(shù)據(jù)流處理拓撲的方法、裝置、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201711494363.5
• 申請日: 2017-12-31
• 公開（公告）號: CN110019369B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計）人: 黃慶榮;鄭志歡;陳鈺鋮;李井生;黃唯靜;高翔
• 申請（專利權(quán)）人: 中國移動通信集團福建有限公司;中國移動通信集團公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/21
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責任公司 11258
• 代理人: 賀琳

1.一種共用數(shù)據(jù)流處理拓撲的方法，其特征在于，所述方法包括：

對預先生成的XML配置文件進行解析，獲取數(shù)據(jù)源參數(shù)；

將解析獲取的數(shù)據(jù)源參數(shù)與運行中拓撲的目標XML配置文件的數(shù)據(jù)源參數(shù)進行比對；

若存在一致的數(shù)據(jù)源，則調(diào)整運行中的拓撲的目標XML配置文件，以使目標配置文件與該XML配置文件對接；

若不存在一致的數(shù)據(jù)源，則為該XML配置文件分配新的資源，構(gòu)建拓撲結(jié)構(gòu)；

所述對預先生成的XML配置文件進行解析，獲取數(shù)據(jù)源參數(shù)，包括：

獲取預先生成的XML配置文件的編號、版本信息，根據(jù)預先存儲的解析過的XML配置文件的編號、版本信息，判斷該XML配置文件是否被解析過；

若 該XML配置文件未被解析過，則對該XML配置文件進行解析，獲取數(shù)據(jù)源參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)源參數(shù)為XML配置文件被解析出的Spout組件的參數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述若存在一致的數(shù)據(jù)源，則調(diào)整運行中的拓撲的目標XML配置文件，以使目標配置文件與該XML配置文件對接，包括：

若存在一致的數(shù)據(jù)源，則將該XML配置文件的Bolt組件與運行中的拓撲的目標XML配置文件的Spout組件進行對接，以對運行中的拓撲進行調(diào)整。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述若存在一致的數(shù)據(jù)源，在所述調(diào)整運行中的拓撲的目標XML配置文件之前，還包括：維護預先生成的XML配置文件與目標XML配置文件的映射關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述若存在一致的數(shù)據(jù)源，則調(diào)整運行中的拓撲的目標XML配置文件，以使目標配置文件與該XML配置文件對接的步驟之后，還包括：

對運行中的拓撲的目標XML配置文件的Zookeeper狀態(tài)進行更新；

根據(jù)更新的Zookeeper狀態(tài)，識別發(fā)生變化的目標XML配置文件，以對運行中的拓撲進行調(diào)整。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)更新的Zookeeper狀態(tài)，識別發(fā)生變化的目標XML配置文件，以對運行中的拓撲進行調(diào)整，包括：

實時監(jiān)聽Zookeeper狀態(tài)，若識別到Zookeeper狀態(tài)標識的目標XML配置文件發(fā)生變化，則對目標XML配置文件進行解析；

根據(jù)對目標XML配置文件的解析結(jié)果，識別目標XML配置文件中發(fā)生變化的拓撲結(jié)構(gòu)；

為發(fā)生變化的拓撲結(jié)構(gòu)分配資源，并啟動發(fā)生變化拓撲結(jié)構(gòu)；

將發(fā)生變化的拓撲結(jié)構(gòu)向運行中的拓撲的結(jié)構(gòu)中的數(shù)據(jù)源Spout組件發(fā)起訂閱，根據(jù)所述數(shù)據(jù)源Spout接受訂閱后的反饋，將發(fā)生變化的拓撲結(jié)構(gòu)維護至運行中的拓撲結(jié)構(gòu)中，以對拓撲進行動態(tài)調(diào)整。

7.一種共用數(shù)據(jù)流處理拓撲的裝置，其特征在于，所述裝置包括：

分析模塊，用于對預先生成的XML配置文件進行分析，獲取數(shù)據(jù)源參數(shù)；

比對模塊，用于將解析獲取的數(shù)據(jù)源參數(shù)與運行中拓撲目標XML配置文件的數(shù)據(jù)源參數(shù)進行比對；

調(diào)整模塊，用于在存在一致的數(shù)據(jù)源時，調(diào)整運行中的拓撲的目標XML配置文件，以使目標配置文件與該XML配置文件對接；在不存在一致的數(shù)據(jù)源時，為該XML配置文件分配新的資源，構(gòu)建拓撲結(jié)構(gòu)；

解析模塊，具體用于獲取預先生成的XML配置文件的編號、版本信息，根據(jù)預先存儲的解析過的XML配置文件的編號、版本信息，判斷該XML配置文件是否被解析過；

若 該XML配置文件未被解析過，則對該XML配置文件進行解析，獲取數(shù)據(jù)源參數(shù)。

8.一種共用數(shù)據(jù)流處理拓撲的設(shè)備，其特征在于，包括：至少一個處理器、至少一個存儲器以及存儲在所述存儲器中的計算機程序指令，當所述計算機程序指令被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，其特征在于，當所述計算機程序指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。