[發明專利]數據獲取方法、裝置、系統及電子設備

有效

• 申請號: 201811248468.7
• 申請日: 2018-10-24
• 公開（公告）號: CN109408689B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 關海南;鄒靜
• 申請（專利權）人: 北京金山云網絡技術有限公司;北京金山云科技有限公司
• 主分類號: G06F16/907
• 分類號: G06F16/907;G06F16/9032
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王文紅

本發明提供了一種數據獲取方法、裝置、系統及電子設備，涉及大數據技術領域，該方法包括：通過統一查詢引擎接收查詢請求；其中，查詢請求中攜帶有指定查詢引擎的信息；統一查詢引擎與多個查詢引擎分別連接；根據查詢請求，查詢統一元數據，得到與指定查詢引擎對應的元數據；其中，統一元數據為通過預設的映射規則將多個查詢引擎的元數據映射得到的一個元數據；根據與指定查詢引擎對應的元數據從指定查詢引擎中獲取數據。本發明可以將各種引擎的元數據進行規范統一，統一數據管理和統一查詢引擎，避免數據冗余、數據孤島或遺失，并降低使用成本。

技術領域

本發明涉及大數據技術領域，尤其是涉及一種數據獲取方法、裝置、系統及電子設備。

背景技術

目前互聯網公司已在大量使用開源系統，在大數據領域，對數據處理的優秀開源軟件層出不窮，數據湖的概念由此產生。然而每種引擎使用的場景各有不同，多種引擎并存、數據分布到不同存儲和引擎的現狀將持續，將導致后續數據的冗余、管理混亂等問題。另外，各種查詢引擎出現對使用者提出了更高的要求，一方面要了解各種引擎的使用方式，另一方面要記錄不同引擎存儲的內容，人力成本會增加不少。

當前大數據的管理使用數據，各引擎單獨使用，每個引擎有獨立的查詢權限、獨立的查詢語句、獨立的可視化分析界面。其中，由于每種引擎的查詢方式是不一樣的，需要單獨開發，有的引擎支持SQL(Structured Query Language，結構化查詢語言)，有的引擎不支持SQL但支持reset-API(Application Programming Interface，應用程序編程接口)；有的引擎雖然支持SQL，但支持的SQL不是標準SQL，有獨有的語法語義，自定義的UDF(User-Defined Function，用戶定義函數)等，所以對不同的引擎需要單獨對接。

針對現有技術中多引擎單獨使用的問題，目前尚未提出有效的解決方案。

發明內容

有鑒于此，本發明的目的在于提供一種數據獲取方法、裝置、系統及電子設備，可以統一數據管理和統一查詢引擎，避免數據冗余、數據孤島、遺失并降低使用成本。

第一方面，本發明實施例提供了一種數據獲取方法，包括：通過統一查詢引擎接收查詢請求；其中，查詢請求中攜帶有指定查詢引擎的信息；其中，統一查詢引擎與多個查詢引擎分別連接；根據查詢請求，查詢統一元數據，得到與指定查詢引擎對應的元數據；其中，統一元數據為通過預設的映射規則將多個查詢引擎的元數據映射得到的一個元數據；根據與指定查詢引擎對應的元數據從指定查詢引擎中獲取數據。

結合第一方面，本發明實施例提供了第一方面的第一種可能的實施方式，其中，在通過統一查詢引擎接收查詢請求之前，還包括：通過映射規則將多個查詢引擎的元數據映射到統一元數據系統的多層存儲空間，其中，多層存儲空間中存儲的元數據組成統一元數據。

結合第一方面的第一種可能的實施方式，本發明實施例提供了第一方面的第二種可能的實施方式，其中，多層存儲空間包括：第一層空間，第二層空間，第三層空間，其中，第一層空間為命名空間，第二層空間為數據庫，第三層空間為表。

結合第一方面及其各可能的實施方式之一，本發明實施例提供了第一方面的第三種可能的實施方式，其中，在查詢請求中攜帶有至少兩個查詢引擎的信息的情況下，根據查詢請求，查詢統一元數據，得到與指定查詢引擎對應的元數據包括：根據至少兩個查詢引擎的信息，查詢統一元數據，分別得到至少兩個查詢引擎中每個查詢引擎對應的元數據。

結合第一方面及其各可能的實施方式之一，本發明實施例提供了第一方面的第四種可能的實施方式，其中，統一元數據中包括多個查詢引擎的訪問權限。