[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011544913.1
• 申請日: 2020-12-23
• 公開（公告）號: CN112579586A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設計）人: 盤兵
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/27
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)處理方法包括：

獲取待處理的精算任務，其中，所述精算任務中包括語言文件和待輸出的精算指標；

從預置數(shù)據(jù)庫中獲取與所述語言文件具有映射關系的源業(yè)務數(shù)據(jù)；

對所述源業(yè)務數(shù)據(jù)進行數(shù)據(jù)清洗，得到目標源基礎數(shù)據(jù)；

通過數(shù)據(jù)處理工具Sqoop將所述目標源業(yè)務數(shù)據(jù)同步至大數(shù)據(jù)平臺HIve庫；

基于預置Spark計算引擎對所述目標源業(yè)務數(shù)據(jù)進行精算，得到精算結(jié)果，其中，所述精算結(jié)果包括RDD；

將所述RDD回寫至所述大數(shù)據(jù)平臺HIve庫；

通過數(shù)據(jù)處理工具Sqoop將所述精算結(jié)果回寫入預置精算業(yè)務系統(tǒng)數(shù)據(jù)庫Oracle，得到精算報表。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述獲取待處理的精算任務包括：

獲取精算任務生成請求，其中，所述精算任務生成請求中包括精算模型；

獲取所述精算模型中所定義的DSL文件；

對所述DSL文件中的信息進行校驗，在校驗通過后，生成語言文件；

獲取待輸出的指標，根據(jù)所述語言文件和所述待輸出的精算指標生成精算任務。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述對所述源業(yè)務數(shù)據(jù)進行數(shù)據(jù)清洗，得到目標源基礎數(shù)據(jù)包括：

接收數(shù)據(jù)清洗請求；

根據(jù)所述數(shù)據(jù)清洗請求確定數(shù)據(jù)清洗規(guī)則，其中，所述數(shù)據(jù)清洗規(guī)則包括：清洗特征因子和所述清洗特征因子滿足的清洗條件；

根據(jù)所述待清洗數(shù)據(jù)確定所述清洗特征因子對應的特征因子值；

根據(jù)所述數(shù)據(jù)清洗規(guī)則和所述特征因子值對所述源業(yè)務數(shù)據(jù)進行清洗，得到目標基礎數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述通過數(shù)據(jù)處理工具Sqoop將所述目標源業(yè)務數(shù)據(jù)同步至大數(shù)據(jù)平臺HIve庫包括：

在關系數(shù)據(jù)庫中讀取預配置的將所述目標基礎數(shù)據(jù)同步到大數(shù)據(jù)平臺HIve庫的配置表格的表結(jié)構(gòu)，以獲取所述配置表格的各配置信息；

根據(jù)所述配置信息生成所述大數(shù)據(jù)平臺HIve庫對應的調(diào)度任務、腳本和建表語句；

將所述調(diào)度任務、腳本和建表語句分別傳輸至所述大數(shù)據(jù)平臺HIve庫的指定位置，以調(diào)度所述目標基礎數(shù)據(jù)到大數(shù)據(jù)平臺。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述基于預置Spark計算引擎對所述目標源業(yè)務數(shù)據(jù)進行精算，得到精算結(jié)果包括：

按照預設的數(shù)據(jù)分組規(guī)則對所述目標基礎數(shù)據(jù)進行分組，得到各個數(shù)據(jù)組，其中，每個數(shù)據(jù)組分別對應一個精算指標；

提取所述各個數(shù)據(jù)組中符合預設條件的數(shù)據(jù)維度；

對所述各個數(shù)據(jù)組中屬于同一數(shù)據(jù)維度的數(shù)據(jù)值進行拼接處理，得到拼接字符串；

對得到的所述拼接字符串進行加密處理，得到所述各個數(shù)據(jù)組中與所述數(shù)據(jù)維度對應的維度標志；

根據(jù)所述各個數(shù)據(jù)組中提取到的各個所述數(shù)據(jù)維度對應的維度標志對所述各個數(shù)據(jù)組下的目標基礎數(shù)據(jù)進行分組，得到所述各個數(shù)據(jù)組的待精算數(shù)據(jù)小組。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，在所述根據(jù)所述各個數(shù)據(jù)組中提取到的各個所述數(shù)據(jù)維度對應的維度標志對所述各個數(shù)據(jù)組下的目標基礎數(shù)據(jù)進行分組，得到所述各個數(shù)據(jù)組的待精算數(shù)據(jù)小組之后，還包括：

將所述各個數(shù)據(jù)小組中的數(shù)據(jù)轉(zhuǎn)換成彈性分布式數(shù)據(jù)集RDD；

對彈性分布式數(shù)據(jù)集RDD中的數(shù)據(jù)進行初步處理生成目標分布式數(shù)據(jù)集RDD；

基于預置Spark計算引擎，對所述目標分布式數(shù)據(jù)集RDD進行精算，得到精算結(jié)果。