[發(fā)明專利]基于規(guī)則的流式數(shù)據(jù)處理方法統(tǒng)一監(jiān)控平臺

在審

• 申請?zhí)枺?/td>: 201711067201.3
• 申請日: 2017-11-02
• 公開（公告）號: CN107943482A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計）人: 曲洋
• 申請（專利權(quán)）人: 千尋位置網(wǎng)絡(luò)有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F11/30;G06F17/30
• 代理公司: 上海市海華永泰律師事務(wù)所31302
• 代理人: 包文超

1.一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

步驟1，部署流式數(shù)據(jù)處理框架，進(jìn)行流式數(shù)據(jù)處理；

步驟2，部署流式規(guī)則引擎，實(shí)時監(jiān)控分布式文件系統(tǒng)，動態(tài)加載規(guī)則文件，編譯規(guī)則模板，下發(fā)規(guī)則；

步驟3，部署動態(tài)編譯組件，接收流式規(guī)則引擎下發(fā)指令，編譯流式規(guī)則引擎下發(fā)的規(guī)則；

步驟4，配置引擎通過動態(tài)加載配置文件，實(shí)現(xiàn)規(guī)則與輸入輸出的動態(tài)綁定以及規(guī)則與監(jiān)控行為的配對；

步驟5，編寫規(guī)則，并且下發(fā)到分布式規(guī)則池中。

2.如權(quán)利要求1所述的一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，所述流式數(shù)據(jù)處理框架包括Spark、Flink或者Storm流式數(shù)據(jù)處理框架。

3.如權(quán)利要求1所述的一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，流式規(guī)則引擎對規(guī)則文件進(jìn)行管理，同時協(xié)調(diào)各類數(shù)據(jù)源完成對于規(guī)則的整個生命周期的管理。

4.如權(quán)利要求3所述的一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，流式規(guī)則引擎對規(guī)則文件進(jìn)行的管理包括監(jiān)聽、搜索、加載、傳遞和部署。

5.如權(quán)利要求1所述的一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，所述規(guī)則模板基于原生編程語言，通過編譯規(guī)則模板完成規(guī)則的創(chuàng)建。

6.如權(quán)利要求1所述的一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，對基于規(guī)則產(chǎn)生的數(shù)據(jù)進(jìn)行分流或者實(shí)時監(jiān)控。

7.如權(quán)利要求6所述的一種基于規(guī)則的流式數(shù)據(jù)處理方法，其特征在于，對基于規(guī)則產(chǎn)生的數(shù)據(jù)通過配置引擎實(shí)時監(jiān)控，監(jiān)控的指標(biāo)包括生命周期、調(diào)度策略。

8.一種基于規(guī)則的流式數(shù)據(jù)統(tǒng)一監(jiān)控平臺，其特征在于，包括流式規(guī)則引擎、配置引擎、動態(tài)編譯組件和流式數(shù)據(jù)處理框架；用戶編寫規(guī)則，并且下發(fā)到分布式規(guī)則池中，流式規(guī)則引擎下發(fā)規(guī)則給動態(tài)編譯組件；配置引擎通過動態(tài)加載配置文件，實(shí)現(xiàn)規(guī)則與輸入輸出的動態(tài)綁定以及規(guī)則與監(jiān)控行為的配對；流式數(shù)據(jù)處理框架基于動態(tài)編譯組件編譯后的規(guī)則對數(shù)據(jù)流進(jìn)行處理。