[發明專利]一種模板化的數據處理方法及裝置

有效

• 申請號: 202010176562.7
• 申請日: 2020-03-13
• 公開（公告）號: CN111459474B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 高體偉;鄒立民;賈喜順;蘇萌;劉鈺;孫偉
• 申請（專利權）人: 北京百分點科技集團股份有限公司
• 主分類號: G06F8/36
• 分類號: G06F8/36
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新

本申請公開一種模板化的數據處理方法及裝置。所述方法包括：確定包含待處理數據、以及框架標識的數據處理請求；獲取為所述框架標識對應的大數據處理框架預設的特殊處理邏輯，所述特殊處理邏輯包括相比于其他大數據處理框架、具有特殊性的處理邏輯；根據所述特殊處理邏輯，以及預設的算子模板，生成適配于所述大數據處理框架的目標算子，所述預設的算子模板中包括適配于多種大數據處理框架的通用處理邏輯、以及為特殊處理邏輯預留的空位；響應于所述數據處理請求，根據所述待處理數據，利用所述目標算子執行數據處理。

技術領域

本申請涉及圖像處理領域，尤其涉及一種模板化的數據處理方法及裝置。

背景技術

在大數據處理環境中，出于不同因素的考慮，可能會部署多種不同的大數據處理框架。比如，可以出于不同時限因素、或不同數據量因素的考慮，部署多種不同的大數據處理框架，或相同框架的不同版本。

然而在實際應用中，為了實現數據處理，則需要分別適配不同的大數據處理框架。在相關技術中，通常可以是為每種大數據處理框架分別適配對應的算子，在數據處理時，則可以根據大數據處理框架的不同，利用對應的算子實現數據處理，這里的算子可以表征數據處理方法。

可見，為了適配多種大數據處理框架而分別開發多種算子的做法，需要較高的開發維護成本。所以，在適配不同大數據處理框架而實現數據處理時，如何節約開發維護成本，從而提升開發維護效率，成為了亟待解決的問題。

發明內容

本申請實施例提供一種模板化的數據處理方法和裝置，可以在適配不同大數據處理框架而實現數據處理時，節約開發維護成本，從而提升開發維護效率。

為解決上述技術問題，本申請實施例是這樣實現的：

本申請實施例采用下述技術方案：

一種模板化的數據處理方法，包括：

確定包含待處理數據、以及框架標識的數據處理請求；

獲取為所述框架標識對應的大數據處理框架預設的特殊處理邏輯，所述特殊處理邏輯包括相比于其他大數據處理框架、具有特殊性的處理邏輯；

根據所述特殊處理邏輯，以及預設的算子模板，生成適配于所述大數據處理框架的目標算子，所述預設的算子模板中包括適配于多種大數據處理框架的通用處理邏輯、以及為特殊處理邏輯預留的空位；

響應于所述數據處理請求，根據所述待處理數據，利用所述目標算子執行數據處理。

一種模板化的數據處理裝置，包括：確定單元、獲取單元、生成單元、以及執行單元，其中，

所述確定單元，用于確定包含待處理數據、以及框架標識的數據處理請求；

所述獲取單元，用于獲取為所述框架標識對應的大數據處理框架預設的特殊處理邏輯，所述特殊處理邏輯包括相比于其他大數據處理框架、具有特殊性的處理邏輯；

所述生成單元，用于根據所述特殊處理邏輯，以及預設的算子模板，生成適配于所述大數據處理框架的目標算子，所述預設的算子模板中包括適配于多種大數據處理框架的通用處理邏輯、以及為特殊處理邏輯預留的空位；

所述執行單元，用于響應于所述數據處理請求，利用所述目標算子，對所述待處理數據執行數據處理。

一種電子設備，包括：

處理器；以及

被設置成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行以下操作：

確定包含待處理數據、以及框架標識的數據處理請求；

獲取為所述框架標識對應的大數據處理框架預設的特殊處理邏輯，所述特殊處理邏輯包括相比于其他大數據處理框架、具有特殊性的處理邏輯；