[發明專利]批流融合的信息處理方法和裝置、存儲介質

在審

• 申請號: 202111049808.5
• 申請日: 2021-09-08
• 公開（公告）號: CN113918771A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 曹魯;馬洪賓;張逸凡;陳志雄;李揚;韓卿
• 申請（專利權）人: 上海跬智信息技術有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/9032
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 李志剛;高科

本申請公開了一種批流融合的信息處理方法和裝置、存儲介質。該方法包括基于輸入的查詢語句獲取索引；基于索引提取預計算的索引數據段作為查詢結果；提取新計算的索引數據段更新查詢結果。本申請解決了實時數據與離線數據難以進行融合分析的技術問題。

技術領域

本發明屬于數據處理技術領域，尤其涉及一種批流融合的信息處理方法和裝置、存儲介質。

背景技術

隨著工業4.0以及5G時代的到來，人們對于數據處理的時效性有了越來越高的需求。研究表明，數據的價值隨著時間的流逝而降低。反過來說，越實時的數據，其價值越高。在此背景下，業界涌現出了像Storm，Spark，Kafka，Flink等一批優秀的開源流計算框架。然而，盡管不少流計算框架宣稱自己具備批流一體的處理能力，事實上由于批處理與流計算在使用場景和側重點的不同——流計算更關注數據的時效性，而批處理則更關注數據的完整性、準確性和計算成本，像Hive這樣的批處理系統仍然無法被完全替代。這使得人們在需要將實時數據與離線數據進行融合分析的時候，變得非常困難。數據口徑不一致，語義不統一，無法跨系統查詢，查詢性能無法滿足要求等問題，常常會成為難以逾越的鴻溝，困擾著大數據架構師和工程師們。

綜上所述，現有技術存在如下技術問題：

將實時數據與離線數據進行融合分析的時候，變得非常困難。

發明內容

為解決上述技術問題，本發明提供一種批流融合的信息處理方法，包括步驟：

基于輸入的查詢語句獲取索引；

基于索引提取預計算的索引數據段作為查詢結果；

提取新計算的索引數據段更新查詢結果。

優選的，所述基于索引提取預計算的索引數據段作為查詢結果，具體包括：

獲取索引的統計信息；

在內存中檢索擁有該統計信息的預創建索引；

基于預創建索引在存儲介質中定位其預計算的索引數據段；

將定位到的預計算的索引數據段作為查詢結果。

優選的，所述預計算的索引數據段，具體包括：

基于預先定義的統一模型定義預創建索引；

基于預創建索引進行預計算得到索引數據段；

將預創建索引的統計信息儲存于內存，并將預計算的索引數據段儲存于存儲介質。

優選的，所述基于預先定義的統一模型定義預創建索引，具體包括：

獲取預先創建的流數據源映射表、批數據源映射表，其中，流數據源映射表為事實表，批數據源映射表為與其綁定的影子表；

獲取預先創建的事實表與影子表連接的維度和度量；

基于獲取的維度和度量，確定事實表和影子表與維度表的連接關系；

基于連接關系定義預創建索引。

優選的，所述基于預創建索引計算得到索引數據段，具體包括：

獲取預創建索引，其中，預創建索引分為批索引、流索引和融合索引；

基于預創建索引，通過計算引擎在數據源中進行預計算，其中，計算引擎包括批處理計算引擎、流處理計算引擎，數據源包括批數據源、流數據源；

基于預計算得到預計算的索引數據段，其中，預計算的索引數據段分為批索引數據段、流索引數據段。

優選的，所述將預創建索引的統計信息儲存于內存，具體包括：