[發明專利]一種算子集構建及調用的方法和裝置

在審

• 申請號: 202010773698.6
• 申請日: 2020-08-04
• 公開（公告）號: CN112130933A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 陳欣潔;李建廣;余智華;袁寶東;馮凱
• 申請（專利權）人: 中科天璣數據科技股份有限公司
• 主分類號: G06F9/448
• 分類號: G06F9/448;G06F8/20
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 郭峰

本發明提供了一種算子集構建方法和裝置，算子單元接收，所述算子單元為處理單元用于完成所對應的處理任務；算子接口參數獲取，根據所述算子單元獲取所述算子接口參數，所述算子接口參數包括開啟參數和運行參數；算子模塊構建，將獲取了算子接口參數的算子單元構建為算子模塊。所述算子單元的接口參數為統一的包括有開啟參數和運行參數，統一所述算子接口參數的規格，降低開發人員多種語言和算法的銜接難度；對于業務人員，業務人員可以直接調用算子模塊，降低工作難度。本發明還提供了一種算子集調用方法和裝置，業務人員可以針對運行環境選擇適用的算子模塊，再將被選擇的算子模塊發送至運行節點運行，提高業務人員工作效率。

技術領域

本發明涉及大數據分析算法庫構建技術領域，尤其涉及一種算子集構建及調用的方法和裝置。

背景技術

當前，新一輪科技革命和產業變革正在萌發，大數據的形成、理論算法的革新、計算能力的提升及網絡設施的演進驅動大數據分析技術的發展進入新階段，智能化成為技術和產業發展的重要方向。在進行企業級大數據分析應用構建過程中，由于業務數據規模、形態的復雜性，在進行數據處理、特征工程、機器學習算法的開發及運行過程中需要依賴不同的計算框架、計算資源、計算語言來適配不同的業務場景：當業務數據達到億級別規模時，在對數據進行預處理時，需要選用分布式計算框架實現數據的并行分發計算，來提高數據處理的效率。

雖然，在市場上開發人員可以選擇不同的計算框架、計算資源、計算語言來實現不同業務場景的分析模型，但在實際分析建模過程中，業務人員和開發人員對于算法開發及使用的需求不一樣，業務人員往往對算子內部了解比較淺，業務人員難以對算子內部進行復雜調試，在算子使用過程中花費時間較多，影響工作效率；開發人員的算子集沒有統一的規范和定義，多種語言和算法的銜接比較困難，使開發人員浪費了許多時間。

因此，本領域亟需一種算子集構建及調用的方法和裝置。

因此，有鑒于此，提出本發明。

發明內容

本發明的目的在于提供一種算子集構建及調用的方法和裝置，以解決上述至少一個技術問題。

本發明提供了一種算子集構建方法，包括以下步驟：

算子單元接收，所述算子單元為處理單元用于完成所對應的處理任務；

算子接口參數獲取，根據所述算子單元獲取所述算子接口參數，所述算子接口參數包括開啟參數和運行參數；

算子模塊構建，將獲取了算子接口參數的算子單元構建為算子模塊。

采用上述方案，所述算子單元的接口參數為統一的包括有開啟參數和運行參數，統一所述算子接口參數的規格，使算子集擁有統一的規范和定義，降低開發人員多種語言和算法的銜接難度；對于業務人員，由于統一了所述算子接口參數的規格，業務人員可以直接調用算子模塊，不需要復雜調試，降低工作難度。

進一步的，所述算子集構建方法還包括算子集構建，將多個所述算子模塊置于第一容器內，構建所述算子集。

采用上述方案，所述算子集中可以包括多種不同的算子模塊，業務人員可以直接在算子集中提取需要的算子模塊，減少尋找需要的算子所花費時間，提高工作效率。

進一步的，所述處理單元可以為一個函數，也可以為多個函數的組合，包括Group、Sort函數等，能夠完成數據的轉化。

進一步的，所述開啟參數為命令行頭部參數，用于開啟所述算子單元的運行。

采用上述方案，便于開啟所述算子單元的運行。

進一步的，所述運行參數包括入口參數和出口參數，所述入口參數為所述算子模塊的輸入路徑，所述出口參數為所述算子模塊的輸出路徑，所述算子模塊之間可以通過入口參數和出口參數相配合使多個算子模塊相配合。