[發明專利]一種執行動態插入算子的方法以及裝置

在審

• 申請號: 202011037243.4
• 申請日: 2020-09-27
• 公開（公告）號: CN112231115A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 汪達勝
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/445;G06F16/2458
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

本發明公開了一種執行動態插入算子的方法以及裝置，涉及計算機技術領域。該方法包括：接收用戶的服務請求；基于所述用戶的服務請求來調用與服務相對應的算子的微服務框架，其中微服務框架獨立于數據挖掘平臺；基于針對所述調用的響應，建立數據挖掘平臺與算子的微服務架構之間的通信以將所述算子動態地插入到所述數據挖掘平臺中；以及當與所述算子相對應的服務出現故障時，與出現故障的服務相對應的算子的微服務框架與所述數據挖掘平臺隔離開。基于本發明，能夠基于需求來靈活地增加算子，有效地提高數據挖掘平臺的可擴展性和兼容性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種執行動態插入算子的方法以及裝置。

背景技術

在現有技術中，基于現有的數據挖掘平臺，通過新增配置文件的方式來增加算子。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

在現有技術的數據挖掘平臺的算子動態擴容方案中，新算法的導入與數據挖掘平臺本身同為一個項目開發，代碼之間耦合性較大，靈活性不足，不能滿足不斷擴展的功能要求。

發明內容

有鑒于此，本發明實施例提供一種執行動態插入算子的方法以及裝置，該裝置包括用于數據挖掘的數據挖掘平臺。在使用數據挖掘平臺過程中，開發人員可以根據自己的需要來靈活地加入算子。本發明中的算子包括但不限于數據讀取、數據預處理、特征工程、機器學習算法等算子，本發明能夠有效地提高數據挖掘平臺的可擴展性和兼容性。

為實現上述目的，根據本發明實施例的一個方面，提供了一種執行動態插入算子的方法，其特征在于，包括：接收用戶的服務請求；基于所述用戶的服務請求來調用與服務相對應的算子的微服務框架，其中微服務框架獨立于數據挖掘平臺；基于針對所述調用的響應，建立數據挖掘平臺與算子的微服務架構之間的通信以將所述算子動態地插入到所述數據挖掘平臺中；以及當與所述算子相對應的服務出現故障時，與出現故障的服務相對應的算子的微服務框架與所述數據挖掘平臺隔離開。

可選地，所述執行動態插入算子的方法，其特征在于，所述算子的數量是一個或多個，并且每個算子對應一個服務。

可選地，所述執行動態插入算子的方法，其特征在于，所述多個算子的微服務框架彼此獨立。

可選地，所述執行動態插入算子的方法，其特征在于，所述數據挖掘平臺支持多個數據挖掘算法、涵蓋分類、聚類以及回歸，并且支持包括sklearn、lightGBM、XGBoost以及SparkMLlib的數據挖掘框架。

可選地，所述執行動態插入算子的方法，其特征在于，所述數據挖掘平臺包含數據讀取、特征工程、超參數調優、模型訓練、模型部署以及模型重訓練。

可選地，所述執行動態插入算子的方法，其特征在于，所述數據挖掘平臺包括用戶接口層、平臺服務層、計算資源層以及數據層。

可選地，所述執行動態插入算子的方法，其特征在于，所述平臺服務層提供平臺的基礎功能包含資源調度、任務調度和api接口層。

可選地，所述執行動態插入算子的方法，其特征在于，所述算子被分為數據IO、預處理、機器學習模型、樣本數據、特征工程和模型評估。

可選地，所述執行動態插入算子的方法，其特征在于，所述數據IO算子用于選擇數據源、輸入數據庫和數據表；所述數據預處理算子用于按比例采樣、隨機拆分數據、分層拆分數據和缺失值填充；所述機器學習模型算子用于隨機森林二分類、邏輯回歸、xgboost二分類和K均值聚類；所述樣本數據算子用于信貸審批、信用卡欺詐檢測和電信客戶流失數據；所述特征工程算子用于最大最小歸一化和標準歸一化；以及所述模型評估算子用于分類模型評估指標、聚類模型評估指標和模型預測。