[發(fā)明專利]用于流式計(jì)算的規(guī)則更新方法、裝置及流式計(jì)算系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911018140.0
• 申請(qǐng)日: 2019-10-24
• 公開（公告）號(hào): CN111221550B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 鄔浩艷;尹攀
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F8/65
• 分類號(hào): G06F8/65;G06F9/445
• 代理公司: 北京永新同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝

本說明書的實(shí)施例提供用于流式計(jì)算的規(guī)則更新方法、裝置及流式計(jì)算系統(tǒng)。該流式計(jì)算系統(tǒng)包括規(guī)則配置平臺(tái)、規(guī)則管理器、分布式文件服務(wù)器、任務(wù)調(diào)度器、資源管理器和至少一個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)。任務(wù)調(diào)度器定期向規(guī)則管理器發(fā)送增量更新規(guī)則查詢請(qǐng)求。規(guī)則管理器響應(yīng)于增量更新規(guī)則查詢請(qǐng)求而從規(guī)則配置平臺(tái)獲取規(guī)則列表數(shù)據(jù)。任務(wù)調(diào)度器使用規(guī)則列表數(shù)據(jù)中的文件存儲(chǔ)路徑地址，獲取進(jìn)入上線狀態(tài)的增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件。任務(wù)調(diào)度器基于增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件構(gòu)建規(guī)則執(zhí)行器實(shí)例，并將所構(gòu)建的規(guī)則執(zhí)行器實(shí)例廣播給各個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)以進(jìn)行規(guī)則執(zhí)行器更新。各個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)使用更新后的規(guī)則執(zhí)行器來運(yùn)行后續(xù)任務(wù)。

技術(shù)領(lǐng)域

本說明書的實(shí)施例通常涉及流式計(jì)算領(lǐng)域，更具體地，涉及用于流式計(jì)算的規(guī)則更新方法、裝置及流式計(jì)算系統(tǒng)。

背景技術(shù)

流式計(jì)算系統(tǒng)(例如，流式實(shí)時(shí)分布式計(jì)算)被廣泛地應(yīng)用于在線和近線海量數(shù)據(jù)處理。現(xiàn)有的流式計(jì)算系統(tǒng)(也可以稱為流式計(jì)算框架)，比如storm、spark streaming、flink等，都是在服務(wù)啟動(dòng)時(shí)已經(jīng)編排好數(shù)據(jù)的處理邏輯算法(即，業(yè)務(wù)規(guī)則)，并且不能進(jìn)行動(dòng)態(tài)更新。如果想要更新處理邏輯算法，則需要重新部署重啟服務(wù)后才能生效。然而，許多安全應(yīng)用場景要求能夠7/24小時(shí)實(shí)時(shí)監(jiān)測威脅，并且針對(duì)多變的風(fēng)險(xiǎn)形勢提供應(yīng)對(duì)措施。由此，如何能夠在不停止服務(wù)的情況下進(jìn)行業(yè)務(wù)規(guī)則快速更新是亟待解決的問題。

發(fā)明內(nèi)容

鑒于上述問題，本說明書的實(shí)施例提供了一種用于流式計(jì)算的規(guī)則更新方法、裝置、流式計(jì)算引擎及系統(tǒng)。利用該方法及系統(tǒng)，能夠在不停止服務(wù)的情況下實(shí)現(xiàn)業(yè)務(wù)規(guī)則的快速更新。

根據(jù)本說明書的實(shí)施例的一個(gè)方面，提供了一種用于流式計(jì)算的規(guī)則更新方法，所述規(guī)則更新方法由流式計(jì)算引擎中的任務(wù)調(diào)度器執(zhí)行，所述規(guī)則更新方法包括：獲取進(jìn)入上線狀態(tài)的增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件，所述可執(zhí)行文件是對(duì)所述增量更新業(yè)務(wù)規(guī)則進(jìn)行編譯打包后生成的；基于所述增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件構(gòu)建規(guī)則執(zhí)行器實(shí)例；以及將所構(gòu)建的規(guī)則執(zhí)行器實(shí)例廣播給所述流式計(jì)算引擎中的各個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)以進(jìn)行規(guī)則執(zhí)行器更新，所述各個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)使用更新后的規(guī)則執(zhí)行器來運(yùn)行任務(wù)。

可選地，在上述方面的一個(gè)示例中，獲取進(jìn)入上線狀態(tài)的增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件可以包括：從規(guī)則管理器獲取進(jìn)入上線狀態(tài)的增量更新業(yè)務(wù)規(guī)則的規(guī)則列表數(shù)據(jù)，所述規(guī)則列表數(shù)據(jù)包括所述增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件在分布式文件服務(wù)器中的文件存儲(chǔ)路徑地址；以及根據(jù)所述文件存儲(chǔ)路徑地址來從所述分布式文件服務(wù)器中下載所述增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件。

可選地，在上述方面的一個(gè)示例中，從規(guī)則管理器獲取所述增量更新業(yè)務(wù)規(guī)則的規(guī)則列表數(shù)據(jù)可以包括：向規(guī)則管理器定期發(fā)送規(guī)則列表數(shù)據(jù)獲取請(qǐng)求，所述規(guī)則列表數(shù)據(jù)獲取請(qǐng)求用于獲取進(jìn)入上線狀態(tài)的增量更新業(yè)務(wù)規(guī)則的規(guī)則列表數(shù)據(jù)；以及從所述規(guī)則管理器接收響應(yīng)于所述規(guī)則列表數(shù)據(jù)獲取請(qǐng)求而獲取的規(guī)則列表數(shù)據(jù)。

可選地，在上述方面的一個(gè)示例中，所述增量更新業(yè)務(wù)規(guī)則是基于業(yè)務(wù)規(guī)則配置數(shù)據(jù)生成的業(yè)務(wù)規(guī)則腳本文件，以及基于所述增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件構(gòu)建規(guī)則執(zhí)行器實(shí)例可以包括：將所述增量更新業(yè)務(wù)規(guī)則的可執(zhí)行文件加載到虛擬機(jī)中來構(gòu)建規(guī)則執(zhí)行器實(shí)例。

可選地，在上述方面的一個(gè)示例中，所述規(guī)則列表數(shù)據(jù)可以是通過所述規(guī)則管理器響應(yīng)于所述規(guī)則列表數(shù)據(jù)獲取請(qǐng)求查詢規(guī)則配置平臺(tái)而獲取的。

可選地，在上述方面的一個(gè)示例中，所述上線狀態(tài)包括試運(yùn)行、灰度發(fā)布和正式運(yùn)行，其中，在所述上線狀態(tài)是試運(yùn)行或灰度發(fā)布時(shí)，在各個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)處創(chuàng)建試運(yùn)行規(guī)則緩存或灰度發(fā)布規(guī)則緩存，所構(gòu)建的規(guī)則執(zhí)行器實(shí)例被存儲(chǔ)在試運(yùn)行規(guī)則緩存或灰度發(fā)布規(guī)則緩存中，在所述上線狀態(tài)是正式運(yùn)行時(shí)，所構(gòu)建的規(guī)則執(zhí)行器實(shí)例被使用來更新各個(gè)任務(wù)執(zhí)行器節(jié)點(diǎn)處的規(guī)則倉儲(chǔ)。

可選地，在上述方面的一個(gè)示例中，所述增量更新業(yè)務(wù)規(guī)則是在可視化規(guī)則配置平臺(tái)處基于業(yè)務(wù)指標(biāo)配置的，所述業(yè)務(wù)指標(biāo)是基于業(yè)務(wù)規(guī)則代碼邏輯抽象出的。