[發明專利]數據提取方法及裝置

在審

• 申請號: 202110434475.1
• 申請日: 2021-04-22
• 公開（公告）號: CN113064914A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 蔡中原;孫政清;陳錦濤;白佳樂
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F40/253
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

本發明公開了一種數據提取方法及裝置，應用于大數據技術領域，該方法包括：接收上層應用發送的數據獲取請求；從數據獲取請求中提取SQL參數；將所述SQL參數按照預設的語義規則進行分解，得到至少一個SQL字段；根據至少一個SQL字段中的指定字段，確定上層應用是否指定提取數據的數據引擎；如果上層應用沒有指定數據引擎，則根據預設的SQL語句和至少一個SQL字段組合混合SQL查詢語句，所述混合SQL查詢語句為從各個數據引擎中提取數據的SQL語句的集合；利用所述混合SQL查詢語句中每個SQL語句從對應的數據引擎中提取目標數據。本發明可以降低數據查詢、提取的學習成本，提升數據查詢、提取效率。

技術領域

本發明涉及大數據技術領域，尤其涉及一種數據提取方法及裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

數據庫即存放數據的倉庫，可以按一定規則的存放數據。當今世界是一個充滿著數據的互聯網世界，有大量且種類豐富的數據。數據源也是多種多樣，比如消費賬單、出行服務、短信、網站瀏覽記錄等等。除了常見的文本類型的數據，圖像、聲音等都是數據。數據不同，數據存儲引擎也不一樣，比如，服務器系統性能的監控數據是序列化數據，存儲在prometheus上，而prometheus查詢有專門的SQL，即PromQL。運行日志數據存放在ElasticSearch，而ES有專門的SQL，即Query DSL。緩存數據是存放在redis中的，就需要調用redis的應用程序接口(Application Programming Interface，API)獲取數據。

在進行數據提取時需要得到不同存儲介質中的數據，目前一般都是采用不同的查詢語句獲取不同類型的數據，再對不同類型的數據進行聚合，得到所需提取的全部數據。如此查詢，需要學習不同數據引擎的查詢語法，并分別從多個數據引擎中提取所需查詢的數據，存在學習成本較高，數據提取效率低下的問題。

發明內容

本發明實施例提供一種數據提取方法，用以降低數據查詢、提取的學習成本，提升數據查詢、提取效率，該方法包括：

接收上層應用發送的數據獲取請求；

從數據獲取請求中提取SQL參數；

將所述SQL參數按照預設的語義規則進行分解，得到至少一個SQL字段；

根據至少一個SQL字段中的指定字段，確定上層應用是否指定提取數據的數據引擎；

如果上層應用沒有指定數據引擎，則根據預設的SQL語句和至少一個SQL字段組合混合SQL查詢語句，所述混合SQL查詢語句為從各個數據引擎中提取數據的SQL語句的集合；

利用所述混合SQL查詢語句中每個SQL語句從對應的數據引擎中提取目標數據。

本發明實施例還提供一種數據提取裝置，用以降低數據查詢、提取的學習成本，提升數據查詢、提取效率，該裝置包括：

通信模塊，用于接收上層應用發送的數據獲取請求；

提取模塊，用于從數據獲取請求中提取SQL參數；

字段分解模塊，用于將所述SQL參數按照預設的語義規則進行分解，得到至少一個SQL字段；

確定模塊，用于根據至少一個SQL字段中的指定字段，確定上層應用是否指定提取數據的數據引擎；

語句組合模塊，用于當上層應用沒有指定數據引擎時，根據預設的SQL語句和至少一個SQL字段組合混合SQL查詢語句，所述混合SQL查詢語句為從各個數據引擎中提取數據的SQL語句的集合；

提取模塊，還用于利用所述混合SQL查詢語句中每個SQL語句從對應的數據引擎中提取目標數據。