[發(fā)明專利]一種執(zhí)行動(dòng)態(tài)插入算子的方法以及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011037243.4
• 申請(qǐng)日: 2020-09-27
• 公開（公告）號(hào): CN112231115A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 汪達(dá)勝
• 申請(qǐng)（專利權(quán)）人: 中國(guó)建設(shè)銀行股份有限公司
• 主分類號(hào): G06F9/54
• 分類號(hào): G06F9/54;G06F9/445;G06F16/2458
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;李陽

1.一種執(zhí)行動(dòng)態(tài)插入算子的方法，其特征在于，包括：

接收用戶的服務(wù)請(qǐng)求；

基于所述用戶的服務(wù)請(qǐng)求來調(diào)用與服務(wù)相對(duì)應(yīng)的算子的微服務(wù)框架，其中微服務(wù)框架獨(dú)立于數(shù)據(jù)挖掘平臺(tái)；

基于針對(duì)所述調(diào)用的響應(yīng)，建立數(shù)據(jù)挖掘平臺(tái)與算子的微服務(wù)架構(gòu)之間的通信以將所述算子動(dòng)態(tài)地插入到所述數(shù)據(jù)挖掘平臺(tái)中；以及

當(dāng)與所述算子相對(duì)應(yīng)的服務(wù)出現(xiàn)故障時(shí)，與出現(xiàn)故障的服務(wù)相對(duì)應(yīng)的算子的微服務(wù)框架與所述數(shù)據(jù)挖掘平臺(tái)隔離開。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述算子的數(shù)量是一個(gè)或多個(gè)，并且每個(gè)算子對(duì)應(yīng)一個(gè)服務(wù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述多個(gè)算子的微服務(wù)框架彼此獨(dú)立。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)挖掘平臺(tái)支持多個(gè)數(shù)據(jù)挖掘算法、涵蓋分類、聚類以及回歸，并且支持包括sklearn、lightGBM、XGBoost以及SparkMLlib的數(shù)據(jù)挖掘框架。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)挖掘平臺(tái)包含數(shù)據(jù)讀取、特征工程、超參數(shù)調(diào)優(yōu)、模型訓(xùn)練、模型部署以及模型重訓(xùn)練。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)挖掘平臺(tái)包括用戶接口層、平臺(tái)服務(wù)層、計(jì)算資源層以及數(shù)據(jù)層。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述平臺(tái)服務(wù)層提供平臺(tái)的基礎(chǔ)功能包含資源調(diào)度、任務(wù)調(diào)度和api接口層。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述算子被分為數(shù)據(jù)IO、預(yù)處理、機(jī)器學(xué)習(xí)模型、樣本數(shù)據(jù)、特征工程和模型評(píng)估。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)IO算子用于選擇數(shù)據(jù)源、輸入數(shù)據(jù)庫和數(shù)據(jù)表；

所述數(shù)據(jù)預(yù)處理算子用于按比例采樣、隨機(jī)拆分?jǐn)?shù)據(jù)、分層拆分?jǐn)?shù)據(jù)和缺失值填充；

所述機(jī)器學(xué)習(xí)模型算子用于隨機(jī)森林二分類、邏輯回歸、xgboost二分類和K均值聚類；

所述樣本數(shù)據(jù)算子用于信貸審批、信用卡欺詐檢測(cè)和電信客戶流失數(shù)據(jù)；

所述特征工程算子用于最大最小歸一化和標(biāo)準(zhǔn)歸一化；以及

所述模型評(píng)估算子用于分類模型評(píng)估指標(biāo)、聚類模型評(píng)估指標(biāo)和模型預(yù)測(cè)。

10.一種執(zhí)行動(dòng)態(tài)插入算子的裝置，其特征在于，包括：

接收模塊，所述接收模塊被配置成接收用戶的服務(wù)請(qǐng)求；

調(diào)用模塊，所述調(diào)用模塊被配置成基于所述用戶的服務(wù)請(qǐng)求來調(diào)用與服務(wù)相對(duì)應(yīng)的算子的微服務(wù)框架；

通信模塊，所述通信模塊被配置成基于針對(duì)所述調(diào)用的響應(yīng)，建立數(shù)據(jù)挖掘平臺(tái)與算子的微服務(wù)架構(gòu)之間的通信以將所述算子動(dòng)態(tài)地插入到所述數(shù)據(jù)挖掘平臺(tái)中；以及

故障隔離模塊，所述故障隔離模塊被配置成當(dāng)與所述算子相對(duì)應(yīng)的服務(wù)出現(xiàn)故障時(shí)，與出現(xiàn)故障的服務(wù)相對(duì)應(yīng)的算子的微服務(wù)框架與所述數(shù)據(jù)挖掘平臺(tái)隔離開，

其中，微服務(wù)框架獨(dú)立于數(shù)據(jù)挖掘平臺(tái)。

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述算子的數(shù)量是一個(gè)或多個(gè)，并且每個(gè)算子對(duì)應(yīng)一個(gè)服務(wù)。

12.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述多個(gè)算子的微服務(wù)框架彼此獨(dú)立。

13.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述數(shù)據(jù)挖掘平臺(tái)支持多個(gè)數(shù)據(jù)挖掘算法、涵蓋分類、聚類以及回歸，并且支持包括sklearn、lightGBM、XGBoost以及SparkMLlib的數(shù)據(jù)挖掘框架。

14.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述數(shù)據(jù)挖掘平臺(tái)包含數(shù)據(jù)讀取、特征工程、超參數(shù)調(diào)優(yōu)、模型訓(xùn)練、模型部署以及模型重訓(xùn)練。