[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011544913.1
• 申請日: 2020-12-23
• 公開（公告）號: CN112579586A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 盤兵
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/27
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，公開了一種數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。本方法包括：獲取待處理的精算任務(wù)和與精算任務(wù)中語言文件具有映射關(guān)系的源業(yè)務(wù)數(shù)據(jù)；對源業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)基礎(chǔ)數(shù)據(jù)；通過數(shù)據(jù)處理工具Sqoop將目標(biāo)基礎(chǔ)數(shù)據(jù)同步至大數(shù)據(jù)平臺(tái)HIve庫；基于預(yù)置Spark對目標(biāo)基礎(chǔ)數(shù)據(jù)進(jìn)行精算，并將精算結(jié)果回寫至HIve庫；通過工具Sqoop將精算結(jié)果回寫入預(yù)置精算業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫Oracle，得到精算報(bào)表，并將精算報(bào)表發(fā)送至業(yè)務(wù)人員審核。解決了數(shù)據(jù)精算效率低，無法充分利用了大數(shù)據(jù)集群分析處理海量數(shù)據(jù)的能力，時(shí)效性差的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

精算，簡單的說就是依據(jù)經(jīng)濟(jì)學(xué)的基本原理，運(yùn)用現(xiàn)代數(shù)學(xué)、統(tǒng)計(jì)學(xué)、金融學(xué)及法學(xué)等的各種科學(xué)有效的方法，對各種經(jīng)濟(jì)活動(dòng)中未來的風(fēng)險(xiǎn)進(jìn)行分析，評估和管理等，是現(xiàn)代保險(xiǎn)、金融、投資實(shí)現(xiàn)穩(wěn)健經(jīng)營的基礎(chǔ)。在保險(xiǎn)行業(yè)，數(shù)據(jù)處理是一種重要的數(shù)據(jù)預(yù)測和統(tǒng)計(jì)手段。例如，對于保險(xiǎn)公司來說，理賠準(zhǔn)備金的計(jì)算是風(fēng)險(xiǎn)管控方面非常重要的一個(gè)環(huán)節(jié)，大多數(shù)保險(xiǎn)公司均會(huì)每隔一段時(shí)間(如半個(gè)月一次)計(jì)算一次理賠準(zhǔn)備金，以確保當(dāng)發(fā)生理賠案件時(shí)，可以按時(shí)完成賠付。目前，理賠準(zhǔn)備金的計(jì)算一般通過精算軟件進(jìn)行，例如基于PROPHET模型的精算程序。

基于傳統(tǒng)的Oracle多線程跑批處理這種量級的精算數(shù)據(jù)分析處理，已經(jīng)明顯力不從心，傳統(tǒng)精算分析處理模型關(guān)鍵瓶頸在于海量數(shù)據(jù)的跑批處理，每個(gè)計(jì)算子過程都是千萬級的數(shù)據(jù)運(yùn)算和數(shù)據(jù)庫I/O訪問，處理性能已經(jīng)不能滿足業(yè)務(wù)要求。這種傳統(tǒng)的精算方法對源業(yè)務(wù)數(shù)據(jù)的利用和計(jì)算的靈活性不高。

發(fā)明內(nèi)容

本發(fā)明的主要目的是解決數(shù)據(jù)處理分析效率低下，無法快速從財(cái)務(wù)數(shù)據(jù)定稿到保險(xiǎn)精算結(jié)果定稿，數(shù)據(jù)量激增導(dǎo)致時(shí)效性差的技術(shù)問題。

本發(fā)明第一方面提供了一種數(shù)據(jù)處理方法，包括：

獲取待處理的精算任務(wù)，其中，所述精算任務(wù)中包括語言文件和待輸出的精算指標(biāo)；

從預(yù)置數(shù)據(jù)庫中獲取與所述語言文件具有映射關(guān)系的源業(yè)務(wù)數(shù)據(jù)；

對所述源業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)源基礎(chǔ)數(shù)據(jù)；

通過數(shù)據(jù)處理工具Sqoop將所述目標(biāo)源業(yè)務(wù)數(shù)據(jù)同步至大數(shù)據(jù)平臺(tái)HIve庫；

基于預(yù)置Spark計(jì)算引擎對所述目標(biāo)源業(yè)務(wù)數(shù)據(jù)進(jìn)行精算，得到精算結(jié)果，其中，所述精算結(jié)果包括RDD；

將所述RDD回寫至所述大數(shù)據(jù)平臺(tái)HIve庫；

通過數(shù)據(jù)處理工具Sqoop將所述精算結(jié)果回寫入預(yù)置精算業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫Oracle，得到精算報(bào)表。

可選地，在本發(fā)明第一方面的第一種實(shí)現(xiàn)方式中，所述獲取待處理的精算任務(wù)包括：

獲取精算任務(wù)生成請求，其中，所述精算任務(wù)生成請求中包括精算模型；

獲取所述精算模型中所定義的DSL文件；

對所述DSL文件中的信息進(jìn)行校驗(yàn)，在校驗(yàn)通過后，生成語言文件；

獲取待輸出的指標(biāo)，根據(jù)所述語言文件和所述待輸出的精算指標(biāo)生成精算任務(wù)。

可選地，在本發(fā)明第一方面的第二種實(shí)現(xiàn)方式中，所述對所述源業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)源基礎(chǔ)數(shù)據(jù)包括：

接收數(shù)據(jù)清洗請求；

根據(jù)所述數(shù)據(jù)清洗請求確定數(shù)據(jù)清洗規(guī)則，其中，所述數(shù)據(jù)清洗規(guī)則包括：清洗特征因子和所述清洗特征因子滿足的清洗條件；

根據(jù)所述待清洗數(shù)據(jù)確定所述清洗特征因子對應(yīng)的特征因子值；