[發(fā)明專利]一種數(shù)據(jù)流處理系統(tǒng)及其方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810723807.6
• 申請(qǐng)日: 2018-07-04
• 公開(kāi)（公告）號(hào): CN109246073A
• 公開(kāi)（公告）日: 2019-01-18
• 發(fā)明（設(shè)計(jì)）人: 邱路平;王海偉;徐英斌
• 申請(qǐng)（專利權(quán)）人: 杭州數(shù)云信息技術(shù)有限公司
• 主分類(lèi)號(hào): H04L29/06
• 分類(lèi)號(hào): H04L29/06;H04L29/08
• 代理公司: 杭州天昊專利代理事務(wù)所(特殊普通合伙) 33283
• 代理人: 程皓

本發(fā)明公開(kāi)了一種數(shù)據(jù)流處理系統(tǒng)及其方法。它包括界面模塊、信息通訊模塊、組件模塊、流運(yùn)行模塊、數(shù)據(jù)斷點(diǎn)模塊、流數(shù)據(jù)統(tǒng)計(jì)模塊和錯(cuò)誤信息模塊，界面模塊用于與用戶交互；信息通訊模塊包括主節(jié)點(diǎn)和若干任務(wù)節(jié)點(diǎn)，主節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)是一對(duì)多的關(guān)系，主節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)有信息交互；組件模塊用于數(shù)據(jù)來(lái)源和數(shù)據(jù)目標(biāo)適配；流運(yùn)行模塊用于流的構(gòu)建和運(yùn)行；數(shù)據(jù)斷點(diǎn)模塊用于流重啟時(shí)保證不丟數(shù)據(jù)；流數(shù)據(jù)統(tǒng)計(jì)模塊用于統(tǒng)計(jì)流運(yùn)行時(shí)的流速；錯(cuò)誤信息模塊用于流異常時(shí)查看異常信息和異常數(shù)據(jù)。本發(fā)明的有益效果是：提供斷點(diǎn)續(xù)傳功能，有更強(qiáng)的引擎適配，有更低的延時(shí)、更強(qiáng)的拓展性，有更輕量級(jí)的系統(tǒng)架構(gòu)；有更簡(jiǎn)潔易用的界面配置，更強(qiáng)大的監(jiān)控體系。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理相關(guān)技術(shù)領(lǐng)域，尤其是指一種數(shù)據(jù)流處理系統(tǒng)及其方法。

背景技術(shù)

在互聯(lián)網(wǎng)大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)流動(dòng)才能產(chǎn)生價(jià)值。隨著業(yè)務(wù)的擴(kuò)展，應(yīng)用系統(tǒng)會(huì)增多，為了滿足系統(tǒng)間數(shù)據(jù)的共享，大量的ETL、Streaming小程序應(yīng)運(yùn)而生。小程序擴(kuò)展性差，而且維護(hù)成本極高。

發(fā)明內(nèi)容

本發(fā)明是為了克服現(xiàn)有技術(shù)中存在上述的不足，提供了一種可配置可擴(kuò)展的數(shù)據(jù)流處理系統(tǒng)及其方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種數(shù)據(jù)流處理系統(tǒng)，包括界面模塊、信息通訊模塊、組件模塊、流運(yùn)行模塊、數(shù)據(jù)斷點(diǎn)模塊、流數(shù)據(jù)統(tǒng)計(jì)模塊和錯(cuò)誤信息模塊，所述的界面模塊用于與用戶交互，用戶通過(guò)界面模塊配置數(shù)據(jù)流轉(zhuǎn)業(yè)務(wù)；所述的信息通訊模塊包括主節(jié)點(diǎn)和若干任務(wù)節(jié)點(diǎn)，主節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)是一對(duì)多的關(guān)系，主節(jié)點(diǎn)負(fù)責(zé)任務(wù)的分配和與前端界面模塊的交互，任務(wù)節(jié)點(diǎn)負(fù)責(zé)流的運(yùn)行和監(jiān)控，主節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)有信息交互；所述的組件模塊用于數(shù)據(jù)來(lái)源和數(shù)據(jù)目標(biāo)適配；所述的流運(yùn)行模塊用于流的構(gòu)建和運(yùn)行；所述的數(shù)據(jù)斷點(diǎn)模塊用于流重啟時(shí)保證不丟數(shù)據(jù)；所述的流數(shù)據(jù)統(tǒng)計(jì)模塊用于統(tǒng)計(jì)流運(yùn)行時(shí)的流速，以及數(shù)據(jù)準(zhǔn)確性判斷；所述的錯(cuò)誤信息模塊用于流異常時(shí)查看異常信息和異常數(shù)據(jù)。

該系統(tǒng)把數(shù)據(jù)劃分成一個(gè)個(gè)的原子，作為傳輸和處理的單元，這種理念很符合計(jì)算機(jī)的發(fā)送和接收方式。基于這種設(shè)計(jì)思路，我們把系統(tǒng)間或者引擎之間的數(shù)據(jù)傳輸原子化、流式化，保證數(shù)據(jù)被處理At least once，即提供斷點(diǎn)續(xù)傳功能。該系統(tǒng)滿足了大部分?jǐn)?shù)據(jù)流轉(zhuǎn)需求，支持流式的和批次的傳輸和處理，適配了極大多數(shù)數(shù)據(jù)引擎，同樣使用者也可以開(kāi)發(fā)自己想要的組件，該系統(tǒng)還提供了簡(jiǎn)易的操作界面，通過(guò)界面配置和運(yùn)行，即可達(dá)到數(shù)據(jù)傳輸?shù)哪康摹Ｅckafka-streams相比有更強(qiáng)的引擎適配，與spark-streaming相比具有更低的延時(shí)、更強(qiáng)的拓展性，與Flink相比具有更輕量級(jí)的系統(tǒng)架構(gòu)；和現(xiàn)有的數(shù)據(jù)處理系統(tǒng)或者工具相比，具有更簡(jiǎn)潔易用的界面配置，更強(qiáng)大的監(jiān)控體系。

本發(fā)明還提供了一種數(shù)據(jù)流處理方法，具體包括如下步驟：

(1)登錄數(shù)據(jù)流處理系統(tǒng)，進(jìn)入到界面模塊，創(chuàng)建數(shù)據(jù)來(lái)源和數(shù)據(jù)目標(biāo)；

(2)通過(guò)流運(yùn)行模塊創(chuàng)建流名稱和描述信息；

(3)通過(guò)組件模塊來(lái)配置數(shù)據(jù)來(lái)源，數(shù)據(jù)流處理系統(tǒng)獲取數(shù)據(jù)來(lái)源結(jié)構(gòu)和數(shù)據(jù)樣例；

(4)通過(guò)組件模塊來(lái)配置數(shù)據(jù)目標(biāo)，數(shù)據(jù)流處理系統(tǒng)獲取目標(biāo)結(jié)構(gòu)；

(5)通過(guò)數(shù)據(jù)處理來(lái)配置字段映射和轉(zhuǎn)化邏輯；

(6)通過(guò)信息通訊模塊來(lái)配置主節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)；

(7)配置流調(diào)度。

作為優(yōu)選，所述的數(shù)據(jù)來(lái)源包括以下幾種：數(shù)據(jù)庫(kù)型的mysql、oracle、postgreSQL；中間件型的kafka、RabbitMQ；檢索型的elasticsearch；文件型的ftp-csv、hdfs；針對(duì)不同種的數(shù)據(jù)來(lái)源提供定時(shí)批量、滾動(dòng)批量和實(shí)時(shí)拉取幾種讀取方式。