[發明專利]一種模板化的數據處理方法及裝置

有效

• 申請號: 202010176562.7
• 申請日: 2020-03-13
• 公開（公告）號: CN111459474B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 高體偉;鄒立民;賈喜順;蘇萌;劉鈺;孫偉
• 申請（專利權）人: 北京百分點科技集團股份有限公司
• 主分類號: G06F8/36
• 分類號: G06F8/36
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新

1.一種模板化的數據處理方法，其特征在于，包括：

確定包含待處理數據、以及框架標識的數據處理請求；

獲取為所述框架標識對應的大數據處理框架預設的特殊處理邏輯；不同的大數據處理框架之間，存在著不同的處理邏輯，預先確定出大數據處理框架之間的相同點和不同點，以便為確定出不同的大數據處理框架中的特殊處理邏輯；所述特殊處理邏輯，是相比于其他大數據處理框架而言、具有特殊性的處理邏輯，具體就是獨有的、且其他框架不可替代的處理邏輯；

根據所述特殊處理邏輯，以及預設的算子模板，生成適配于所述大數據處理框架的目標算子，所述預設的算子模板中包括適配于多種大數據處理框架的通用處理邏輯、以及為特殊處理邏輯預留的空位；

響應于所述數據處理請求，根據所述待處理數據，利用所述目標算子執行數據處理。

2.如權利要求1所述的方法，其特征在于，確定包含待處理數據、以及框架標識的數據處理請求，包括：

接收包含待處理數據、以及數據處理需求的數據處理請求；

根據所述待處理數據特征、和不同大數據處理框架的特征，確定出匹配所述數據處理需求的大數據處理框架對應的框架標識。

3.如權利要求1所述的方法，其特征在于，確定包含待處理數據、以及框架標識的數據處理請求，包括：

接收包含待處理數據、以及多個候選框架標識的數據處理請求；

根據所述待處理數據特征、和所述多個候選框架標識分別對應的大數據處理框架的特征，從所述多個候選框架標識中確定出框架標識。

4.如權利要求1所述的方法，其特征在于，確定包含待處理數據、以及框架標識的數據處理請求，包括：

接收包含待處理數據、數據處理需求、以及框架標識的數據處理請求；則

根據所述特殊處理邏輯，以及預設的算子模板，生成適配于所述大數據處理框架的目標算子，包括：

確定匹配所述數據處理需求的算子模板；

根據所述特殊處理邏輯，以及所述算子模板，生成適配于所述大數據處理框架的目標算子。

5.一種模板化的數據處理裝置，其特征在于，包括：確定單元、獲取單元、生成單元、以及執行單元，其中，

所述確定單元，用于確定包含待處理數據、以及框架標識的數據處理請求；

所述獲取單元，用于獲取為所述框架標識對應的大數據處理框架預設的特殊處理邏輯；不同的大數據處理框架之間，存在著不同的處理邏輯，預先確定出大數據處理框架之間的相同點和不同點，以便為確定出不同的大數據處理框架中的特殊處理邏輯；所述特殊處理邏輯，是相比于其他大數據處理框架而言、具有特殊性的處理邏輯，具體就是獨有的、且其他框架不可替代的處理邏輯；

所述生成單元，用于根據所述特殊處理邏輯，以及預設的算子模板，生成適配于所述大數據處理框架的目標算子，所述預設的算子模板中包括適配于多種大數據處理框架的通用處理邏輯、以及為特殊處理邏輯預留的空位；

所述執行單元，用于響應于所述數據處理請求，利用所述目標算子，對所述待處理數據執行數據處理。

6.如權利要求5所述的裝置，其特征在于，所述確定單元，用于：

接收包含待處理數據、以及數據處理需求的數據處理請求；

根據所述待處理數據特征、和不同大數據處理框架的特征，確定出匹配所述數據處理需求的大數據處理框架對應的框架標識。

7.如權利要求5所述的裝置，其特征在于，所述確定單元，用于：

接收包含待處理數據、以及多個候選框架標識的數據處理請求；

根據所述待處理數據特征、和所述多個候選框架標識分別對應的大數據處理框架的特征，從所述多個候選框架標識中確定出框架標識。

8.如權利要求5所述的裝置，其特征在于，所述確定單元，用于：

接收包含待處理數據、數據處理需求、以及框架標識的數據處理請求；則

所述生成單元，用于：

確定匹配所述數據處理需求的算子模板；

根據所述特殊處理邏輯，以及所述算子模板，生成適配于所述大數據處理框架的目標算子。