[發明專利]實時流數據的結構化解析、流計算的方法及計算機設備

在審

• 申請號: 201810029081.6
• 申請日: 2018-01-12
• 公開（公告）號: CN108256045A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 卞信銓
• 申請（專利權）人: 福建星瑞格軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙) 35212
• 代理人: 王美花

本發明提供一種實時流數據的結構化解析方法，包括自動解析模式和用戶自定義模式方式：所述自動解析模式是：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構；所述用戶自定義解析模式是：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構，其中的列名為自定義；或者是在轉化為具有行和列的表結構的基礎上再通過每個列定義的UDF進一步解析。本發明將流數據轉換為結構化數據后，在由流計算引擎實時執行流數據的流計算，很大程度上簡化了流計算的業務邏輯開發的難度。

技術領域

本發明涉及一種實時流數據的處理方法，特別涉及一種實時流數據結構化解析及結構化流計算方法，以及實現上述方法的計算機設備。

背景技術

在傳統的數據處理流程中，總是先收集數據，然后將數據存放到某個存儲框架中持久存儲。當人們需要的時候通過計算框架對數據作計算，計算則是從數據中提取信息的過程，最終得到答案或進行相關的處理。這樣看起來雖然非常合理，但是在一些需要實時計算應用的環境中就會存在問題，傳統數據處理方式的離線處理并不能很好地解決這些問題。

流式數據是大數據環境下的一種數據形態，其理論誕生于20世紀末，并在云計算和物聯網發展下逐步成為當前的研究熱點。流式數據與傳統的數據是相對的。與靜態、批處理和持久化的數據庫相比，流式計算以連續、無邊界和瞬時性為特征，適合高速并發和大規模數據實時處理的場景。當前大數據環境下的許多應用呈現多源并發、數據匯聚、在線處理的特征，所以實時數據處理的相關研究發展迅速，并在許多關鍵領域，如傳感網絡、金融、醫療、交通和軍事領域得到了廣泛的應用。

這就引出了一種新的數據計算方式--實時流計算。它可以很好地對大規模流動數據在不斷變化的運動過程中實時地進行分析，捕捉到可能有用的信息，并把結果發送到下一個流計算節點或者將結果存放到某個存儲框架中持久存儲。實時流計算是大數據時代的重要抓手。采用“事中”甚至“事前”模式實現感知、分析、判斷、決策。

發展至今，實時流計算技術已經非常的成熟，面對現代業務高速的發展同時也暴露出一些問題，實時流計算要么針對接收到的每條流數據的記錄進行計算，要么針對某個時間段內收集到的流數據的記錄進行計算，流計算的業務邏輯開發比較復雜，無法像傳統的數據處理應用Query進行業務邏輯開發，如果遇到復雜的多次迭代的業務邏輯開發起來就更加吃力。現在企業的業務需求已經無法單單使用流數據的實時流計算能滿足需求，往往都是伴隨著流數據與傳統數據的結合的流計算，此時現在的流計算方式就更力不從心了。

發明內容

本發明要解決的技術問題，在于提供一種實時流數據結構化解析及結構化流計算的方法，將流數據轉換為結構化數據后，在由流計算引擎實時執行流數據的流計算，很大程度上簡化了流計算的業務邏輯開發的難度。

本發明的實時流數據結構化解析方法是這樣實現的：一種實時流數據的結構化解析方法，包括自動解析模式和用戶自定義模式方式的至少一種：

所述自動解析模式是：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構，從而實現簡單的流數據結構化處理；

所述用戶自定義解析模式是：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構，其中的列名為自定義，從而實現簡單的流數據結構化處理；或者是在轉化為具有行和列的表結構的基礎上再通過每個列定義的UDF進一步解析，從而實現復雜的流數據結構化處理。

本發明的實時流數據的結構化流計算方法是這樣實現的：一種實時流數據的結構化流計算方法，包括實時流數據的結構化解析過程和流計算過程，所述實時流數據的結構化解析過程是通過本發明上述的方法進行的，并得到結構數據作為所述流計算過程的數據源。

進一步的，所述數據源還包括外部持久存儲的傳統數據。