[發明專利]數據查詢方法及裝置、存儲介質、電子裝置

有效

• 申請號: 202011086070.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112182031B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 占文平
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/28
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王曉婷

本發明提供了一種數據查詢方法及裝置、存儲介質、電子裝置，上述方法包括：獲取待查詢的目標表的元數據信息，其中，所述目標表包括待查詢數據；使用第一模型對所述元數據信息進行分析，確定所述待查詢數據的預處理方式，其中，所述第一模型為使用多組數據訓練得到的，所述多組數據中的每組數據均包括：元數據信息和所述待查詢數據對應的預處理方式；基于所述預處理方式對所述待查詢數據進行處理，以在Hive數據倉庫中對處理后的所述待查詢數據進行查詢，采用上述技術方案，解決了相關技術中，在通過Hive數據倉庫進行數據查詢的過程中，需要大量的人為參與確定對數據的處理方式，進而使得流程復雜，處理慢，人工成本高等問題。

技術領域

本發明主要涉及通信領域，具體而言，涉及一種數據查詢方法及裝置、存儲介質、電子裝置。

背景技術

在大數據時代下，大數據信息智能處理技術被廣泛應用到生產環境中，通過大數據信息處理技術產生的海量數據通常會被存儲在數據倉庫中以用于分析處理，為決策管理人員提供有用的決策分析信息。

現有的相關技術中，為了加速Hive數據倉庫的查詢速度，通常采用將需要進行查詢操作的結果進行預先計算和保存或將關聯表中需要的數據預處理到指定數據緩存區域，再根據接口參數從所述數據緩存區域加載所述需要的數據進入內存并存儲的方式。但是，現有的技術針對不同的應用場景進行性能調優時需涉及到大量的人為參與，通常需根據人為經驗進行繁瑣的優化操作。

針對相關技術中，在通過Hive數據倉庫進行數據查詢的過程中，需要大量的人為參與確定對數據的處理方式，進而使得流程復雜，人工成本高等問題，尚未提出有效的技術方案。

發明內容

本發明實施例提供了一種數據查詢方法及裝置、存儲介質、電子裝置，以至少解決相關技術在通過Hive數據倉庫進行數據查詢的過程中，需要大量的人為參與確定對數據的處理方式，進而使得流程復雜，人工成本高等問題。

本發明實施例提供了一種數據查詢方法，包括：獲取待查詢的目標表的元數據信息，其中，所述目標表包括待查詢數據；使用第一模型對所述元數據信息進行分析，確定所述待查詢數據的預處理方式，其中，所述第一模型為使用多組數據訓練得到的，所述多組數據中的每組數據均包括：元數據信息和所述待查詢數據對應的預處理方式；基于所述預處理方式對所述待查詢數據進行處理，以在Hive數據倉庫中對處理后的所述待查詢數據進行查詢。

可選地，使用第一模型對所述元數據信息進行分析，確定所述待查詢數據的預處理方式，包括以下至少之一：使用第一模型對所述元數據信息進行分析，確定對所述待查詢數據進行查詢時所采用的計算引擎框架；使用第一模型對所述元數據信息進行分析，確定對所述待查詢數據進行合并匯總處理的方式；使用第一模型對所述元數據信息進行分析，確定將所述目標表保存在內存中的處理方式；使用第一模型對所述元數據信息進行分析，確定與所述目標表匹配的常用表，并將所述常用表預先緩存在所述內存中。

可選地，確定將所述目標表保存在內存中的處理方式，包括以下至少之一：確定在所述內存中采用列式存儲格式存儲所述待查詢數據；確定在所述內存中采用與所述待查詢數據適配的壓縮算法對所述目標表進行壓縮；將所述待查詢數據中占用空間率高于第一閾值的字段類型轉化為占用空間率低于第二閾值的字段類型。

可選地，確定對所述待查詢數據進行合并匯總處理的方式，包括：對所述待查詢數據中的部分數據進行聚合操作，以減少所述待查詢數據的數據量。

可選地，使用第一模型對所述元數據信息進行分析，確定與所述目標表匹配的常用表之前，所述方法還包括：獲取使用次數超過第三閾值的多張表；從所述多張表中確定與所述目標表匹配的常用表。

可選地，獲取待查詢的目標表的元數據信息，包括以下至少之一：獲取所述目標表中的表結構信息；獲取所述目標表的數據量信息；獲取所述目標表對應的HQL語句。