[發明專利]批流融合的信息處理方法和裝置、存儲介質

在審

• 申請號: 202111049808.5
• 申請日: 2021-09-08
• 公開（公告）號: CN113918771A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 曹魯;馬洪賓;張逸凡;陳志雄;李揚;韓卿
• 申請（專利權）人: 上海跬智信息技術有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/9032
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 李志剛;高科

1.一種批流融合的信息處理方法，其特征在于，包括：

基于輸入的查詢語句獲取索引；

基于索引提取預計算的索引數據段作為查詢結果；

提取新計算的索引數據段更新查詢結果。

2.如權利要求1所述的方法，其特征在于，所述基于索引提取預計算的索引數據段作為查詢結果，具體包括：

獲取索引的統計信息；

在內存中檢索擁有該統計信息的預創建索引；

基于預創建索引在存儲介質中定位其預計算的索引數據段；

將定位到的預計算的索引數據段作為查詢結果。

3.如權利要求1所述的方法，其特征在于，所述預計算的索引數據段，具體包括：

基于預先定義的統一模型定義預創建索引；

基于預創建索引進行預計算得到索引數據段；

將預創建索引的統計信息儲存于內存，并將預計算的索引數據段儲存于存儲介質。

4.如權利要求3所述的方法，其特征在于，所述基于預先定義的統一模型定義預創建索引，具體包括：

獲取預先創建的流數據源映射表、批數據源映射表，其中，流數據源映射表為事實表，批數據源映射表為與其綁定的影子表；

獲取預先創建的事實表與影子表連接的維度和度量；

基于獲取的維度和度量，確定事實表和影子表與維度表的連接關系；

基于連接關系定義預創建索引。

5.如權利要求3所述的方法，其特征在于，所述基于預創建索引計算得到索引數據段，具體包括：

獲取預創建索引，其中，預創建索引分為批索引、流索引和融合索引；

基于預創建索引，通過計算引擎在數據源中進行預計算，其中，計算引擎包括批處理計算引擎、流處理計算引擎，數據源包括批數據源、流數據源；

基于預計算得到預計算的索引數據段，其中，預計算的索引數據段分為批索引數據段、流索引數據段。

6.如權利要求3所述的方法，其特征在于，所述將預創建索引的統計信息儲存于內存，具體包括：

提取預創建索引的統計信息，其中，統計信息包括行數、大小和基數。

7.如權利要求1所述的方法，其特征在于，所述提取新計算的索引數據段更新查詢結果，具體包括：

基于索引在數據源中進行新計算，其中，索引分為批索引、流索引和融合索引，數據源包括批數據源、流數據源；

通過計算引擎新計算得到新計算的索引數據段，其中，計算引擎包括批處理計算引擎、流處理計算引擎，新計算的索引數據段分為批索引數據段、流索引數據段；

將新計算的索引數據段儲存在存儲介質中；

提取存儲介質中新計算的索引數據段更新查詢結果。

8.一種批流融合的信息處理的裝置，其特征在于，包括：

客戶端，用于基于輸入的查詢語句獲取索引；

查詢引擎，用于基于索引提取預計算的索引數據段作為查詢結果；

更新模塊，用于提取新計算的索引數據段更新查詢結果。

9.一種電子設備，包括存儲器和處理器，所述存儲器存儲計算機程序，其特征在于，所述計算機程序在所述處理器中執行可實現權利要求1-7中任一種方法。

10.一種存儲介質，存儲計算機程序，其特征在于，所述計算機程序在處理器中執行可實現權利要求1-7中任一種方法。