[發明專利]一種數據流處理系統及其方法

在審

• 申請號: 201810723807.6
• 申請日: 2018-07-04
• 公開（公告）號: CN109246073A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 邱路平;王海偉;徐英斌
• 申請（專利權）人: 杭州數云信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 杭州天昊專利代理事務所(特殊普通合伙) 33283
• 代理人: 程皓

1.一種數據流處理系統，其特征是，包括界面模塊、信息通訊模塊、組件模塊、流運行模塊、數據斷點模塊、流數據統計模塊和錯誤信息模塊，所述的界面模塊用于與用戶交互，用戶通過界面模塊配置數據流轉業務；所述的信息通訊模塊包括主節點和若干任務節點，主節點和任務節點是一對多的關系，主節點負責任務的分配和與前端界面模塊的交互，任務節點負責流的運行和監控，主節點和任務節點有信息交互；所述的組件模塊用于數據來源和數據目標適配；所述的流運行模塊用于流的構建和運行；所述的數據斷點模塊用于流重啟時保證不丟數據；所述的流數據統計模塊用于統計流運行時的流速，以及數據準確性判斷；所述的錯誤信息模塊用于流異常時查看異常信息和異常數據。

2.一種數據流處理方法，其特征是，具體包括如下步驟：

(1)登錄數據流處理系統，進入到界面模塊，創建數據來源和數據目標；

(2)通過流運行模塊創建流名稱和描述信息；

(3)通過組件模塊來配置數據來源，數據流處理系統獲取數據來源結構和數據樣例；

(4)通過組件模塊來配置數據目標，數據流處理系統獲取目標結構；

(5)通過數據處理來配置字段映射和轉化邏輯；

(6)通過信息通訊模塊來配置主節點和任務節點；

(7)配置流調度。

3.根據權利要求2所述的一種數據流處理方法，其特征是，所述的數據來源包括以下幾種：數據庫型的mysql、oracle、postgreSQL；中間件型的kafka、RabbitMQ；檢索型的elasticsearch；文件型的ftp-csv、hdfs；針對不同種的數據來源提供定時批量、滾動批量和實時拉取幾種讀取方式。

4.根據權利要求2所述的一種數據流處理方法，其特征是，所述的數據處理包含數據過濾、數據轉化和外部數據關聯，其中數據轉化是通過JavaScript的方式實現。

5.根據權利要求2所述的一種數據流處理方法，其特征是，所述的數據目標和數據來源是一一對應的。

6.根據權利要求2所述的一種數據流處理方法，其特征是，所述的流調度是定時調度，采用crontab的方式，用戶可以根據自身業務配置數據流，運行后數據流處理系統會對流進行監控、統計，并保證流穩定的運行，通過流數據統計模塊也讓用戶實時了解流的運行進度和狀態。