[發(fā)明專利]一種面向數據挖掘的容器化數據探索隔離區(qū)及其使用方法

有效

• 申請?zhí)枺?/td>: 202010189150.7
• 申請日: 2020-03-18
• 公開（公告）號: CN111400374B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設計）人: 王臻;趙龍軍
• 申請（專利權）人: 中國雄安集團數字城市科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F16/28;G06F16/245;G06F9/455;H04L9/40
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 李興林

1.一種面向數據挖掘的容器化數據探索隔離區(qū)，其特征在于，

包括數據集成模塊、數據倉庫模塊、鏡像倉庫模塊、基于Kubernets的容器開發(fā)環(huán)境和知識共享模塊；所述數據集成模塊與外部數據源連接并進行數據交互，且所述數據集成模塊與所述數據倉庫模塊連接并進行數據交互；所述數據倉庫模塊與所述基于Kubernets的容器開發(fā)環(huán)境連接并進行數據交互，且與所述知識共享模塊連接并進行數據交互，同時還與所述數據集成模塊連接并進行數據交互；所述知識共享模塊與所述外部應用連接并進行數據交互；所述基于Kubernets的容器開發(fā)環(huán)境與所述數據倉庫模塊連接并進行數據交互，且與所述鏡像倉庫模塊連接并進行數據交互，同時還與Web瀏覽器進行連接和數據交互；

所述數據探索隔離區(qū)中創(chuàng)建有容器化JupyterNotebook開發(fā)環(huán)境，其中，所述容器化JupyterNotebook開發(fā)環(huán)境基于Docker容器虛擬化技術和Kubernetes容器編排技術創(chuàng)建；

所述容器化JupyterNotebook開發(fā)環(huán)境包括OAuth2訪問授權代理、ISTIO網關、系統命名空間和用戶命名空間，其中所述OAuth2訪問授權代理與ISTIO網關連接，所述ISTIO網關分別與系統命名空間和用戶命名空間連接；

所述OAuth2訪問授權代理基于OAuth2規(guī)范的鑒權服務對用戶進行訪問行為進行鑒權；所述ISTIO網關用于限制特定用戶對JupyterNotebook實例的HTTP訪問；所述JupyterNotebook控制器用于管理JupyterNotebook實例；資源配置控制器用于創(chuàng)建和管理每個用戶的名稱空間；所述用戶配置負責記錄用戶JupyterNotebook實例配置信息；所述系統命名空間用作系統服務的運行空間，所述用戶命名空間為用戶JupyterNotebook提供運行空間。

2.根據權利要求1所述的一種面向數據挖掘的容器化數據探索隔離區(qū)，其特征在于，所述系統命名空間包括JupyterNotebook控制器、資源配置控制器和用戶配置，所述用戶命名空間包括JupyterNotebook的運行空間。

3.根據權利要求1所述的一種面向數據挖掘的容器化數據探索隔離區(qū)，其特征在于，所述數據集成模塊通過防火墻與所述外部數據源進行數據交互，并且所述數據集成模塊與所述數據倉庫模塊進行數據交互，通過所述數據集成模塊將所述外部數據源的數據通過所述防火墻同步到所述數據探索隔離區(qū)的所述數據倉庫模塊中。

4.根據權利要求1所述的一種面向數據挖掘的容器化數據探索隔離區(qū)，其特征在于，所述鏡像倉庫模塊為所述探索隔離區(qū)提供適用于數據挖掘場景的鏡像。

5.根據權利要求1所述的一種面向數據挖掘的容器化數據探索隔離區(qū)，其特征在于，所述知識共享模塊通過防火墻與所述外部應用進行數據交互，并且所述知識共享模塊與所述數據倉庫模塊進行數據交互，將數據挖掘產生的知識通過共享服務通過所述防火墻共享給所述外部應用。

6.根據權利要求1所述的一種面向數據挖掘的容器化數據探索隔離區(qū)的使用方法，其特征在于，所述方法包括以下步驟：

步驟1，用戶通過WEB瀏覽器登陸數據探索隔離區(qū)；

步驟2，用戶根據數據挖掘需要，在數據探索隔離區(qū)申請創(chuàng)建項目，并進行項目配置；

步驟3，用戶在已經創(chuàng)建的數據探索隔離區(qū)項目中創(chuàng)建JupyterNotebook開發(fā)環(huán)境，并對JupyterNotebook開發(fā)環(huán)境進行配置；

步驟4，使用數據集成功能將外部數據源中的數據同步到數據探索隔離區(qū)項目的數據倉庫模塊中；

步驟5，用戶登陸JupyterNotebook開發(fā)環(huán)境，訪問數據倉庫模塊中的數據，完成數據挖掘工作，并將數據挖掘結果存儲在數據倉庫模塊中；

步驟6，用戶通過知識共享模塊將數據挖掘結果共享給數據探索隔離區(qū)外部應用使用；

步驟7，完成數據挖掘工作后，用戶注銷數據探索隔離區(qū)中創(chuàng)建的項目，釋放項目涉及的所有計算資源和數據資源。

7.根據權利要求6所述的一種面向數據挖掘的容器化數據探索隔離區(qū)的使用方法，其特征在于，所述步驟2中的所述項目配置包括計算資源的配置、數據倉庫模塊存儲空間的配置；所述步驟3中的所述開發(fā)環(huán)境配置包括鏡像配置、計算資源配置和存儲空間配置。