[發(fā)明專利]基于云平臺的海量數(shù)據(jù)分布式規(guī)則引擎操作系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711209612.1
• 申請日: 2017-11-27
• 公開（公告）號: CN107943963A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計）人: 薛廣濤;王重;錢詩友
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/54
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司31236
• 代理人: 莊文莉

技術(shù)領(lǐng)域

本發(fā)明涉及一種引擎操作系統(tǒng)，具體地，涉及一種基于云平臺的海量數(shù)據(jù)分布式規(guī)則引擎操作系統(tǒng)。

背景技術(shù)

規(guī)則引擎是一種嵌套在應(yīng)用程序中的組件，它實現(xiàn)了將業(yè)務(wù)規(guī)則從應(yīng)用程序代碼中的分離。規(guī)則引擎使用特定的語法編寫業(yè)務(wù)規(guī)則，可以接受數(shù)據(jù)輸入、解釋業(yè)務(wù)規(guī)則并根據(jù)業(yè)務(wù)規(guī)則做出相應(yīng)的決策。諸如Drools等典型的用Java語言編寫的開源規(guī)則引擎雖然通常只能被應(yīng)用于單一的服務(wù)器上，但是通過優(yōu)化的高效模式匹配Rete算法來對所編寫的規(guī)則求值，可以應(yīng)對傳統(tǒng)的復(fù)雜事件處理。然而，當(dāng)面對當(dāng)前海量的太字節(jié)(Terabyte，TB)級別的大數(shù)據(jù)，需要在短時間內(nèi)去分析成千上萬個事件時，傳統(tǒng)規(guī)則引擎便不再適用。

當(dāng)前傳統(tǒng)規(guī)則引擎有其巨大的缺陷，即它只能夠在單一服務(wù)器上運行，無論是在性能、可擴展性還是可用性上，都存在著明顯的局限，當(dāng)面對海量數(shù)據(jù)應(yīng)用場景時毫無用武之地。本發(fā)明針對當(dāng)前高速發(fā)展的大數(shù)據(jù)生態(tài)環(huán)境，將傳統(tǒng)規(guī)則引擎內(nèi)核與十余種開源大數(shù)據(jù)處理平臺進行結(jié)合，通過全新設(shè)計的工作內(nèi)存管理組件與操作執(zhí)行管理組件，將規(guī)則引擎從單機環(huán)境遷移到分布式集群環(huán)境中。

因此，為了克服現(xiàn)有規(guī)則引擎效率不高、不能應(yīng)用于大數(shù)據(jù)環(huán)境下的情況，引入基于云平臺的分布式規(guī)則引擎策略來幫助用戶獲得成倍增長的操作和執(zhí)行效率。由于需要將以前工作在單機環(huán)境下的規(guī)則引擎遷移到集群分布式環(huán)境當(dāng)中，傳統(tǒng)的工作內(nèi)存管理和執(zhí)行操作策略已經(jīng)不再能夠保證大規(guī)模數(shù)據(jù)的高效處理。因此亟待設(shè)計實現(xiàn)一整套從內(nèi)存管理到?jīng)Q策判斷再到操作執(zhí)行的分布式規(guī)則引擎策略系統(tǒng)，來達到大數(shù)據(jù)環(huán)境下全局效率的平衡與提升。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于云平臺的海量數(shù)據(jù)分布式規(guī)則引擎操作系統(tǒng)。

根據(jù)本發(fā)明提供的一種基于云平臺的海量數(shù)據(jù)分布式規(guī)則引擎操作系統(tǒng)，包括如下模塊；

數(shù)據(jù)源模塊：從數(shù)據(jù)庫中收集目標(biāo)對象；

內(nèi)存管理模塊：根據(jù)收集的目標(biāo)對象，將單節(jié)點存儲擴展為分布式存儲；

策略決策模塊：通過調(diào)度器實現(xiàn)各目標(biāo)對象的任務(wù)分配；

操作執(zhí)行管理模塊：根據(jù)目標(biāo)對象的任務(wù)分配，過濾重復(fù)冗余請求。

優(yōu)選地，所述目標(biāo)對象的數(shù)據(jù)源包括批數(shù)據(jù)、流數(shù)據(jù)消息隊列。

優(yōu)選地，所述內(nèi)存管理模塊：將目標(biāo)對象分割為多個分區(qū)，每個分區(qū)分別，并行執(zhí)行操作策略；

所述內(nèi)存管理模塊包括離散分布式內(nèi)存管理子模塊；

離散分布式內(nèi)存管理子模塊：將目標(biāo)對象分割為多個分區(qū)，對每個分區(qū)并行執(zhí)行一個策略決策，并形成多個獨立工作內(nèi)存；

多個獨立工作內(nèi)存構(gòu)成集群。

優(yōu)選地，所述內(nèi)存管理模塊包括統(tǒng)一內(nèi)存管理模塊；

統(tǒng)一內(nèi)存管理模塊：將目標(biāo)對象構(gòu)成內(nèi)存數(shù)據(jù)庫，并在分布式規(guī)則引擎集群中存儲數(shù)據(jù)。

優(yōu)選地，所述策略決策模塊：將目標(biāo)對象分割為多個分區(qū)，每個分區(qū)觸發(fā)一種規(guī)則引擎，并獨立進行執(zhí)行策略。

優(yōu)選地，所述操作執(zhí)行管理模塊為主從式架構(gòu)。

優(yōu)選地，所述操作執(zhí)行管理模塊包括如下子模塊：

服務(wù)隊列子模塊：將多個獨立的工作內(nèi)存或存儲數(shù)據(jù)共享在一個實時環(huán)境中；

微服務(wù)子模塊：在同一實時環(huán)境中，將多個獨立的工作內(nèi)存或存儲數(shù)據(jù)共享子操作；

服務(wù)注冊表子模塊：記錄、監(jiān)控子操作的執(zhí)行情況。

優(yōu)選地，離散分布式內(nèi)存管理子模塊包括映射分區(qū)、簡化分區(qū)；

映射分區(qū)：將復(fù)雜的目標(biāo)對象分割為多個簡單的分區(qū)，對每個分區(qū)并行執(zhí)行相對應(yīng)的策略決策，并形成多個獨立工作內(nèi)存；

簡化分區(qū)：將多個獨立工作內(nèi)存合并，用于判斷規(guī)則結(jié)果的準(zhǔn)確性。

本發(fā)明提供了一種基于云平臺的海量數(shù)據(jù)分布式規(guī)則引擎操作方法，包括如下步驟：

數(shù)據(jù)源步驟：從數(shù)據(jù)庫中收集目標(biāo)對象；

內(nèi)存管理步驟：根據(jù)收集的目標(biāo)對象，將單節(jié)點存儲擴展為分布式存儲；

策略決策步驟：采用計算引擎執(zhí)行調(diào)度器，實現(xiàn)各目標(biāo)對象的任務(wù)分配；

操作執(zhí)行管理步驟：根據(jù)目標(biāo)對象的任務(wù)分配，過濾重復(fù)冗余請求。

優(yōu)選地，所述內(nèi)存管理步驟：將目標(biāo)對象分割為多個分區(qū)，每個分區(qū)分別/并行執(zhí)行操作策略；

所述內(nèi)存管理步驟包括離散分布式內(nèi)存管理子步驟；

離散分布式內(nèi)存管理子步驟：將目標(biāo)對象分割為多個分區(qū)，對每個分區(qū)并行執(zhí)行一個策略決策，并形成多個獨立工作內(nèi)存；

多個獨立工作內(nèi)存構(gòu)成集群；