[發明專利]實時流數據的結構化解析、流計算的方法及計算機設備在審
| 申請號： | 201810029081.6 | 申請日： | 2018-01-12 |
| 公開（公告）號： | CN108256045A | 公開（公告）日： | 2018-07-06 |
| 發明（設計）人： | 卞信銓 | 申請（專利權）人： | 福建星瑞格軟件有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 福州市鼓樓區京華專利事務所(普通合伙) 35212 | 代理人： | 王美花 |
| 地址： | 350000 福建省福州市鼓樓區*** | 國省代碼： | 福建;35 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 流數據 實時流 解析 表結構 讀取 數據粒度 自動解析 分隔符 結構化 自定義 轉化 用戶自定義模式 業務邏輯開發 計算機設備 結構化數據 計算引擎 分割 轉換 | ||
1.一種實時流數據的結構化解析方法，其特征在于：包括自動解析模式和用戶自定義模式方式的至少一種：
所述自動解析模式是：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構；
所述用戶自定義解析模式是：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構，其中的列名為自定義；或者是在轉化為具有行和列的表結構的基礎上再通過每個列定義的UDF進一步解析。
2.根據權利要求1所述的一種實時流數據的結構化解析方法，其特征在于：所述流數據的數據粒度為流數據記錄或者為一個時間段內收集的流數據，且該數據粒度能被配置。
3.根據權利要求2所述的一種實時流數據的結構化解析方法，其特征在于：所述流數據的分隔符為標點符號、ascii碼或者為回車。
4.一種實時流數據的結構化流計算方法，其特征在于：包括實時流數據的結構化解析過程和流計算過程，所述實時流數據的結構化解析過程是通過如權利要求1至3任一項所述的方法進行的，并得到結構數據作為所述流計算過程的數據源。
5.根據權利要求4所述的一種實時流數據的結構化流計算方法，其特征在于：所述數據源還包括外部持久存儲的傳統數據。
6.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現以下過程：
自動解析過程：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構；或
用戶自定義解析過程：讀取流數據，根據預設有數據粒度，根據流數據的分隔符對實時流數據進行分割，并轉化為具有行和列的表結構，其中的列名為自定義；或者是在轉化為具有行和列的表結構的基礎上再通過每個列定義的UDF進一步解析。
7.根據權利要求6所述的一種計算機設備，其特征在于：所述流數據的數據粒度為流數據記錄或者為一個時間段內收集的流數據，且該數據粒度能被配置。
8.根據權利要求6所述的一種計算機設備，其特征在于：所述流數據的分隔符為標點符號、ascii碼或者為回車。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于福建星瑞格軟件有限公司，未經福建星瑞格軟件有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810029081.6/1.html，轉載請聲明來源鉆瓜專利網。
