[發(fā)明專利]一種基于Actor模型的數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211315875.1
• 申請日: 2022-10-26
• 公開（公告）號: CN115695213A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計）人: 李欣;李元正;焦威;王思同
• 申請（專利權(quán)）人: 北京國泰網(wǎng)信科技有限公司;成都國泰網(wǎng)信科技有限公司
• 主分類號: H04L41/14
• 分類號: H04L41/14;H04L41/0806;H04L43/028;H04L49/25
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 黎飛

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，公開了一種基于Actor模型的數(shù)據(jù)處理方法及系統(tǒng)，一種基于Actor模型的數(shù)據(jù)處理方法，創(chuàng)建Actor模型，并按照用戶自定義的Actor節(jié)點(diǎn)結(jié)構(gòu)及Actor節(jié)點(diǎn)間的關(guān)系，對采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。本發(fā)明解決了現(xiàn)有技術(shù)存在的針對不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理時操作麻煩、耗時耗力等問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是一種基于Actor模型的數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

數(shù)據(jù)采集功能主要在平臺設(shè)備上開啟數(shù)據(jù)采集服務(wù)，終端設(shè)備通過數(shù)據(jù)采集服務(wù)上報業(yè)務(wù)數(shù)據(jù)到平臺設(shè)備，當(dāng)平臺收到數(shù)據(jù)后進(jìn)行數(shù)據(jù)持久化操作，最終再由WEB技術(shù)展示給用戶。

但是，不同終端設(shè)備上報的數(shù)據(jù)的結(jié)構(gòu)是不相同的，就需要在平臺設(shè)備上采集到數(shù)據(jù)后對數(shù)據(jù)進(jìn)行處理，如數(shù)據(jù)的轉(zhuǎn)換、過濾、轉(zhuǎn)發(fā)、存儲等操作。通常是通過內(nèi)置定義一些字符串替換、正則匹配、字段合并等解析規(guī)則，對特定的字段進(jìn)行特殊處理。但這類解析方式只適用于業(yè)務(wù)流程固定化的場景，若是遇到流程變更、業(yè)務(wù)拓展或是產(chǎn)品升級等需求，由于數(shù)據(jù)結(jié)構(gòu)的不同，則需根據(jù)業(yè)務(wù)需求對采集數(shù)據(jù)重新規(guī)劃數(shù)據(jù)處理流程，投入人力進(jìn)行二次開發(fā)，耗時耗力。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于Actor模型的數(shù)據(jù)處理方法及系統(tǒng)，解決現(xiàn)有技術(shù)存在的針對不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理時操作麻煩、耗時耗力等問題。

本發(fā)明解決上述問題所采用的技術(shù)方案是：

一種基于Actor模型的數(shù)據(jù)處理方法，創(chuàng)建Actor模型，并按照用戶自定義的Actor節(jié)點(diǎn)結(jié)構(gòu)及Actor節(jié)點(diǎn)間的關(guān)系，對采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。

作為一種優(yōu)選的技術(shù)方案，包括以下步驟：

S1，數(shù)據(jù)采集：采集不同的終端設(shè)備發(fā)送的數(shù)據(jù)；

S2，模型創(chuàng)建：創(chuàng)建Actor模型；

S3，處理鏈構(gòu)建：自定義Actor節(jié)點(diǎn)結(jié)構(gòu)及Actor節(jié)點(diǎn)間的關(guān)系，形成數(shù)據(jù)處理鏈；

S4，數(shù)據(jù)處理：按照定義好的數(shù)據(jù)處理鏈，對數(shù)據(jù)進(jìn)行數(shù)據(jù)處理；所述數(shù)據(jù)處理，指數(shù)據(jù)轉(zhuǎn)換、過濾、轉(zhuǎn)發(fā)、儲存中的一種或多種。

作為一種優(yōu)選的技術(shù)方案，步驟S1中，采用KAFKA、MQTT或SYSLOG進(jìn)行數(shù)據(jù)采集。

作為一種優(yōu)選的技術(shù)方案，步驟S2中，Actor模型中包含了多個Actor，Actor為數(shù)據(jù)處理節(jié)點(diǎn)，每個數(shù)據(jù)處理節(jié)點(diǎn)具有不同的數(shù)據(jù)處理能力。

作為一種優(yōu)選的技術(shù)方案，步驟S2中，而每個數(shù)據(jù)處理節(jié)點(diǎn)能力是預(yù)先定義好的。

作為一種優(yōu)選的技術(shù)方案，步驟S2中，并且每個數(shù)據(jù)處理節(jié)點(diǎn)是可以復(fù)用的。

作為一種優(yōu)選的技術(shù)方案，步驟S3中，對數(shù)據(jù)節(jié)點(diǎn)進(jìn)行執(zhí)行順序的定義，定義內(nèi)容如下：定義根節(jié)點(diǎn)為INPUT節(jié)點(diǎn)，INPUT節(jié)點(diǎn)的下一級節(jié)點(diǎn)為string_change節(jié)點(diǎn)，string_change節(jié)點(diǎn)用于將字符串中源字符串替換為目標(biāo)字符串；string_change下一級節(jié)點(diǎn)包含2個節(jié)點(diǎn)，分別為string_filter和save節(jié)點(diǎn)，其中，string_filter節(jié)點(diǎn)用于判斷傳遞過來的數(shù)據(jù)中是否包含某個內(nèi)容，save節(jié)點(diǎn)用于將采集數(shù)據(jù)保存到本地數(shù)據(jù)庫；string_filter的下一級節(jié)點(diǎn)為external_kafka節(jié)點(diǎn)，external_kafka節(jié)點(diǎn)的用于將傳遞過來的數(shù)據(jù)發(fā)送給kafka服務(wù)器，并提供kafka服務(wù)器的配置。

作為一種優(yōu)選的技術(shù)方案，步驟S4中，數(shù)據(jù)首先到達(dá)根節(jié)點(diǎn)，然后把數(shù)據(jù)發(fā)送給根節(jié)點(diǎn)的下一級所有節(jié)點(diǎn)，所有的節(jié)點(diǎn)按照節(jié)點(diǎn)定義的方法執(zhí)行完后，將處理后的數(shù)據(jù)再發(fā)送給當(dāng)前節(jié)點(diǎn)的下一級所有節(jié)點(diǎn)，直至所有節(jié)點(diǎn)中定義的方法全部執(zhí)行完畢。