[發明專利]一種大數據引擎統一接入系統及方法在審

申請號：	202111033433.3	申請日：	2021-09-03
公開（公告）號：	CN113472904A	公開（公告）日：	2021-10-01
發明（設計）人：	朱輝;薛延波;張濤;趙鵬	申請（專利權）人：	北京華品博睿網絡技術有限公司
主分類號：	H04L29/08	分類號：	H04L29/08
代理公司：	北京君泊知識產權代理有限公司 11496	代理人：	周倩
地址：	100028 北京市朝陽區太***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種數據引擎統一接入系統方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種大數據引擎統一接入系統和方法，包括：接入和管理不同框架的計算引擎，不同框架的計算引擎通過引擎管理適配多版本的引擎創建和回收；接收和發送用戶的數據服務請求；獲取數據服務請求，并將數據服務請求統一路由分發至計算引擎進行處理；解析數據服務請求，并根據數據服務請求選擇適于處理數據服務請求的計算引擎進行處理，處理完成后返回計算引擎的數據服務響應的結果集。本發明的有益效果為：通過對接和管理不同框架的計算引擎，降低了系統的復雜度，并根據不同的數據服務請求選擇合適的計算引擎進行處理，能夠提高系統的運行效率，降低系統資源消耗；提供標準化的服務接口，降低了大數據服務的使用難度。

技術領域

本發明涉及大數據技術領域，具體而言，涉及一種大數據引擎統一接入系統及方法。

背景技術

隨著人工智能、大數據技術的普及和應用，針對不同的場景衍生出了豐富的計算與存儲引擎，例如：Apache Hive、Spark、Hbase、Impala等分布式計算存儲框架?，F階段通常通過引入多個開源中間件來實現業務需求，不斷豐富大數據平臺架構。然而當數據應用、工具系統和底層的計算與存儲組件越來越多時，整個數據平臺將會變成的網狀結構，無論是可擴展性、易用性，還是接入的復雜度都會成指數級上升。

發明內容

為解決上述問題，本發明的目的在于提供一種可以匯聚多種大數據引擎，并對外提供標準化的服務接口，能夠降低系統復雜度，提高可擴展性和易用性的大數據引擎統一接入系統及方法。

本發明提供了一種大數據引擎統一接入系統，該系統包括服務端，所述服務端包括：

數據服務SDK，其提供標準化的SDK，用于包括接收用戶的數據服務請求，向計算引擎發送用戶的數據服務請求，并獲取計算引擎的數據服務響應的結果集；

統一路由接入層，其用于接收所述數據服務SDK發送的數據服務請求，根據標準化的URL，識別后端服務，統一進行路由分發，將所述數據服務請求發送至計算引擎進行處理；

計算引擎接入層，其用于解析由所述統一路由接入層分發的數據服務請求，并根據不同種類的數據服務請求選擇適用于處理所述數據服務請求的計算引擎，所述計算引擎根據所述數據服務請求返回響應結果；

引擎管理器，其用于根據對接的不同框架的計算引擎，選擇與所述計算引擎相對應的引擎管理器，不同的計算引擎的引擎管理器適配多版本的引擎創建和回收。

作為本發明進一步的改進，所述數據服務SDK同時支持異步和同步響應結果集，對于結果集的操作包括：迭代輸出、下載文件和返回結果集地址。

作為本發明進一步的改進，所述統一路由接入層還包括對所述數據服務SDK發送的數據服務請求進行權限驗證、訪問審計和參數合法性校驗。

作為本發明進一步的改進，所述計算引擎接入層還包括對解析后的數據服務請求進行參數合法性校驗和數據權限校驗。

作為本發明進一步的改進，所述系統還包括服務注冊中心，不同的數據服務請求采用所述服務注冊中心進行數據服務的注冊和發現。

作為本發明進一步的改進，所述系統根據不同的數據服務請求創建并啟動不同的數據服務進程，不同的數據服務進程之間采用RPC引擎進行通訊。