[發(fā)明專利]一種大數(shù)據(jù)引擎統(tǒng)一接入系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202111033433.3
• 申請日: 2021-09-03
• 公開（公告）號: CN113472904A
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計）人: 朱輝;薛延波;張濤;趙鵬
• 申請（專利權(quán)）人: 北京華品博睿網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京君泊知識產(chǎn)權(quán)代理有限公司 11496
• 代理人: 周倩

1.一種大數(shù)據(jù)引擎統(tǒng)一接入系統(tǒng)，其特征在于，該系統(tǒng)包括服務(wù)端，所述服務(wù)端包括：

數(shù)據(jù)服務(wù)SDK，其提供標(biāo)準(zhǔn)化的SDK，用于包括接收用戶的數(shù)據(jù)服務(wù)請求，向計算引擎發(fā)送用戶的數(shù)據(jù)服務(wù)請求，并獲取計算引擎的數(shù)據(jù)服務(wù)響應(yīng)的結(jié)果集；

統(tǒng)一路由接入層，其用于接收所述數(shù)據(jù)服務(wù)SDK發(fā)送的數(shù)據(jù)服務(wù)請求，根據(jù)標(biāo)準(zhǔn)化的URL，識別后端服務(wù)，統(tǒng)一進行路由分發(fā)，將所述數(shù)據(jù)服務(wù)請求發(fā)送至計算引擎進行處理；

計算引擎接入層，其用于解析由所述統(tǒng)一路由接入層分發(fā)的數(shù)據(jù)服務(wù)請求，并根據(jù)不同種類的數(shù)據(jù)服務(wù)請求選擇適于處理所述數(shù)據(jù)服務(wù)請求的計算引擎，所述計算引擎根據(jù)所述數(shù)據(jù)服務(wù)請求返回響應(yīng)結(jié)果；

引擎管理器，其用于根據(jù)對接的不同框架的計算引擎，選擇與所述計算引擎相對應(yīng)的引擎管理器，不同的計算引擎的引擎管理器適配多版本的引擎創(chuàng)建和回收。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)服務(wù)SDK同時支持異步和同步響應(yīng)結(jié)果集，對于結(jié)果集的操作包括：迭代輸出、下載文件和返回結(jié)果集地址。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述統(tǒng)一路由接入層還包括對所述數(shù)據(jù)服務(wù)SDK發(fā)送的數(shù)據(jù)服務(wù)請求進行權(quán)限驗證、訪問審計和參數(shù)合法性校驗。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述計算引擎接入層還包括對解析后的數(shù)據(jù)服務(wù)請求進行參數(shù)合法性校驗和數(shù)據(jù)權(quán)限校驗。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括服務(wù)注冊中心，不同的數(shù)據(jù)服務(wù)請求采用所述服務(wù)注冊中心進行數(shù)據(jù)服務(wù)的注冊和發(fā)現(xiàn)。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)根據(jù)不同的數(shù)據(jù)服務(wù)請求創(chuàng)建并啟動不同的數(shù)據(jù)服務(wù)進程，不同的數(shù)據(jù)服務(wù)進程之間采用RPC引擎進行通訊。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述計算引擎接入層對數(shù)據(jù)服務(wù)請求進行解釋包括對數(shù)據(jù)服務(wù)請求進行語法解析，識別出依賴的數(shù)據(jù)源信息；所述計算引擎接入層根據(jù)所述數(shù)據(jù)源信息進行預(yù)測，選擇適用于處理所述數(shù)據(jù)服務(wù)請求的計算引擎。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)采用容器化進行資源管理，包括：所述系統(tǒng)根據(jù)不同種類的數(shù)據(jù)服務(wù)請求選擇適用處理所述數(shù)據(jù)服務(wù)請求的計算引擎，所述計算引擎通過預(yù)估響應(yīng)所述數(shù)據(jù)服務(wù)請求所需的資源消耗進行容器化申請，數(shù)據(jù)服務(wù)請求響應(yīng)結(jié)束后并對資源進行自動回收。

9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括客戶端，所述客戶端用于權(quán)限驗證和提交數(shù)據(jù)服務(wù)請求，所述客戶端進行權(quán)限驗證通過定時獲取服務(wù)端配置進行控制；數(shù)據(jù)服務(wù)請求首先通過所述客戶端進行權(quán)限驗證，然后將所述數(shù)據(jù)服務(wù)請求發(fā)送至服務(wù)端，所述服務(wù)端根據(jù)所述數(shù)據(jù)服務(wù)請求進行服務(wù)端文件權(quán)限的再次驗證。

10.一種大數(shù)據(jù)引擎統(tǒng)一接入方法，其特征在于，該方法包括：

提交并獲取若干數(shù)據(jù)服務(wù)請求；

分別解析所述若干數(shù)據(jù)服務(wù)請求，并獲取每個所述數(shù)據(jù)服務(wù)請求依賴的數(shù)據(jù)源信息；

根據(jù)所述數(shù)據(jù)服務(wù)請求的數(shù)據(jù)源信息選擇適于處理所述數(shù)據(jù)服務(wù)請求的計算引擎，并通過統(tǒng)一路由分發(fā)將若干所述數(shù)據(jù)服務(wù)請求分發(fā)至相應(yīng)的適于處理所述數(shù)據(jù)服務(wù)請求的計算引擎進行處理，處理完成后返回服務(wù)響應(yīng)結(jié)果。