[發明專利]基于SPARK的開發系統及方法

在審

• 申請號: 202211534922.1
• 申請日: 2022-11-29
• 公開（公告）號: CN116088799A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 曹勇
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F16/25;G06F16/245
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 呂俊剛;安然

1.一種基于SPARK的開發系統，其特征在于，包括：

數據訪問層，用于讀取貼源層的數據集；

業務處理層，用于從數據訪問層獲取到數據集后，按照預設數據處理要求進行業務邏輯加工，獲得統計結果；

應用層，用于從業務處理層獲得統計結果，所述應用層包括SPARK應用啟動類。

2.如權利要求1所述的系統，其特征在于，數據訪問層具體用于：通過接口或API讀取貼源層的數據集；

業務處理層具體用于：通過接口或API從數據訪問層獲取數據集；

應用層具體用于：通過接口或API從業務處理層獲得統計結果后，通過接口或API與服務層進行交互。

3.如權利要求1所述的系統，其特征在于，數據訪問層具體用于：通過SPARK?SQL的Dataset和DataFrame類的DSL語法讀取貼源層的數據集。

4.如權利要求1所述的系統，其特征在于，數據訪問層具體用于：查詢貼源層的分區內的數據；

對查詢到的數據進行數據ETL處理，獲得數據集。

5.如權利要求1所述的系統，其特征在于，業務邏輯加工包括關聯、排序、聚合中的其中一種或任意組合。

6.如權利要求1所述的系統，其特征在于，所述業務處理層還用于：

封裝如下業務操作中的其中一種或任意組合：參數校驗、異常判斷、日志埋點；

按照預設數據處理要求，對數據集進行業務操作。

7.如權利要求1所述的系統，其特征在于，所述應用層還用于：接收外部的數據；

業務處理層還用于：從應用層獲取外部的數據后，按照預設數據存儲要求進行業務邏輯加工，獲得存儲數據集；

數據訪問層還用于：從業務處理層獲得存儲數據集后，發送至貼源層進行存儲。

8.一種基于SPARK的開發方法，其特征在于，應用于權利要求1至7任一項所述的基于SPARK的開發系統，包括：

采用數據訪問層讀取貼源層的數據集；

采用業務處理層從數據訪問層獲取到數據集后，按照預設數據處理要求進行業務邏輯加工，獲得統計結果；

采用應用層從業務處理層獲得統計結果，所述應用層包括SPARK應用啟動類。

9.如權利要求8所述的方法，其特征在于，采用數據訪問層讀取貼源層的數據集，包括：采用數據訪問層，通過接口或API讀取貼源層的數據集；

采用業務處理層從數據訪問層獲取到數據集后，按照預設數據處理要求進行業務邏輯加工，獲得統計結果，包括：采用業務處理層，通過接口或API從數據訪問層獲取數據集；

采用應用層從業務處理層獲得統計結果，包括：采用應用層，通過接口或API從業務處理層獲得統計結果后，通過接口或API與服務層進行交互。

10.如權利要求8所述的方法，其特征在于，采用數據訪問層讀取貼源層的數據集，包括：采用數據訪問層，通過SPARK?SQL的Dataset和DataFrame類的DSL語法讀取貼源層的數據集。

11.如權利要求8所述的方法，其特征在于，采用數據訪問層讀取貼源層的數據集，包括：采用數據訪問層，查詢貼源層的分區內的數據；對查詢到的數據進行數據ETL處理，獲得數據集。

12.如權利要求8所述的方法，其特征在于，業務邏輯加工包括關聯、排序、聚合中的其中一種或任意組合。

13.如權利要求8所述的方法，其特征在于，所述業務處理層封裝如下業務操作中的其中一種或任意組合：參數校驗、異常判斷、日志埋點；

所述方法還包括：

按照預設數據處理要求，采用業務處理層進行業務操作。