[發明專利]數據建模方法、裝置、存儲介質及處理器

在審

• 申請號: 202110262402.9
• 申請日: 2021-03-10
• 公開（公告）號: CN112988119A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 孫三山;韓冰;李凱凱;劉偉煜;劉義;王磊
• 申請（專利權）人: 中國郵政儲蓄銀行股份有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F9/54
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

1.一種數據建模方法，其特征在于，包括：

獲取建模數據以及建模算法；

通過預先配置的Rserve組件向建模子裝置發送遠程調用請求，其中，所述遠程調用請求中攜帶有所述建模數據以及建模算法；

響應所述遠程調用請求，在建模子裝置中通過數據預處理模塊對所述建模數據進行處理，得到處理后的建模數據，并通過算法引擎模塊采用Spark分布式計算方法將所述處理后的建模數據通過所述建模算法進行建模，得到建模結果數據。

2.根據權利要求1所述的方法，其特征在于，通過數據預處理模塊對所述建模數據進行處理包括：

所述數據預處理模塊調用已封裝好的數據預處理方法對所述建模數據進行清洗加工，其中，所述清洗加工的內容至少包括：刪除異常值和填充缺失值。

3.根據權利要求1所述的方法，其特征在于，在通過算法引擎模塊采用Spark分布式計算方法將所述處理后的建模數據通過所述建模算法進行建模，得到建模結果數據之后，所述方法還包括：

通過所述建模子裝置中的數據持久化模塊將所述建模結果數據在Hive數據庫中進行存儲。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

接收數據查詢請求；

響應所述數據查詢請求，通過所述數據持久化模塊將所述建模結果數據發送到結果監控器；

在所述結果監控器上顯示所述建模結果數據。

5.根據權利要求1所述的方法，其特征在于，在通過預先配置的Rserve組件向建模子裝置發送遠程調用請求之后，所述方法還包括：

通過建模子裝置的遠程通信模塊啟動目標Rserve常駐進程；

通過目標Rserve常駐進程接收到所述遠程調用請求后，調用本地部署的R語言程序對SparkR自定義服務接口進行初始化，其中，所述接口至少包括：數據預處理接口、模型調用接口、數據持久化接口。

6.根據權利要求5所述的方法，其特征在于，通過建模子裝置的遠程通信模塊啟動目標Rserve進程之前，所述方法還包括：

在所述建模子裝置上的Spark計算環境中部署有多個數據節點、多個Rserve常駐進程和R語言程序構建的R環境，以實現負載均衡。

7.根據權利要求1所述的方法，其特征在于，所述建模算法為以下之一：邏輯回歸算法、決策樹算法。

8.一種數據建模裝置，其特征在于，包括：

第一獲取單元，用于獲取建模數據以及建模算法；

第一請求單元，用于通過預先配置的Rserve組件向建模子裝置發送遠程調用請求，其中，所述遠程調用請求中攜帶有所述建模數據以及建模算法；

第一響應單元，用于響應所述遠程調用請求，在建模子裝置中通過數據預處理模塊對所述建模數據進行處理，得到處理后的建模數據，并通過算法引擎模塊采用Spark分布式計算方法將所述處理后的建模數據通過所述建模算法進行建模，得到建模結果數據。

9.一種處理器，其特征在于，所述處理器用于運行程序，其中，所述程序運行時執行權利要求1至7中任意一項所述的方法。

10.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，所述程序執行權利要求1至7中任意一項所述的方法。