[發明專利]基于Hadoop的數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 202011284193.X
• 申請日: 2020-11-17
• 公開（公告）號: CN112634062B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 王鍔;羅攀;王鑫婕;李春曉;黃琳;盧金金
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06Q40/08
• 分類號: G06Q40/08;G06F18/214;G06F16/9535;G06F16/2458
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

本發明涉及一種基于Hadoop的數據處理方法、裝置、設備以及存儲介質，所述方法根據輸入險種類型對應的預報價因子，從Hadoop平臺的HDFS系統中存儲的歷史數據中篩選出與保險報價請求匹配的相似案例；若篩選出的相似案例數量小于或等于預設閾值，則利用兩個LightGBM模型分別計算中位費率和最大費率，若篩選出的相似案例數大于預設閾值則采用相似性度量的方法進一步篩選相似度較大的案例的歷史數據，最后根據篩選后的歷史數據計算中位費率和最大費率。本發明的方法可以覆蓋絕大部分預報價場景，可以確保有較高的準確率；提高了費率計算的效率；降低人為錯誤和風險因素的影響；隨著數據累積，費率計算準確性也逐漸提升。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種基于Hadoop的數據處理方法、裝置、設備及存儲介質。

背景技術

業務員在開展保險業務的過程中，經常遇到客戶要求提供目標險種的保費，因團體險種投保標的的多樣性和復雜性，不同標的風險會有很大不同，對應到價格上就是保費或費率的區別，如企財險，專業的核保人往往會從企業基本信息、建筑結構、貨物數量、燃燒特性、電器線路、消防設施等多個風險因子的特征，加上過往經驗，綜合評判給出報價，這個過程時間往往較長。

目前各大產險公司可能會要求核保人基于經驗整理出險種下主要標的類型的風險費率和保額系數，并基于歷史數據，計算不同標的類型的利潤率和費用率，最后利用精算公式計算出預估費率。

但這種方法也會因實際環境變化較大，實際報價與理論報價會存在很大差異，計算得到的費率準確率并不高，若業務員以這種單一費率作為參考，也有很大可能會產生較大誤差。

鑒于此，亟需提供一種基于Hadoop的數據處理方法、裝置、設備及存儲介質以解決以上缺陷。

發明內容

基于此，本發明提供一種基于Hadoop的數據處理方法、裝置、設備及存儲介質，以解決目前由通過業務員根據經驗給出報價花費長時間或者根據精算公式提供的單個費率引起的準確性低的問題。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種基于Hadoop的數據處理方法，所述方法包括：

獲取歷史數據的預報價因子和費率，將所述歷史數據的預報價因子和費率存儲于Hadoop平臺的HDFS系統，其中，所述預報價因子包括類別型因子和數值型因子；

接收前端發送的攜帶險種類型的保險報價請求，根據所述險種類型獲取所述保險報價請求的預報價因子；

根據所述預報價因子，從HDFS系統中存儲的所述歷史數據中篩選出與所述保險報價請求匹配的相似案例；

當所述相似案例的數量大于預設閾值時，利用MapReduce計算框架計算每個所述相似案例的數值型因子和所述保險報價請求的數值型因子的歐式距離，按照所述歐式距離從小到大的順序對所述相似案例進行排序，獲取排序前第一預設數量的相似案例，根據獲取的所述相似案例的費率確定中位費率和最大費率；

當所述相似案例的數量小于或等于所述預設閾值時，將所述預報價因子輸入至預先訓練好的第一目標模型中，根據所述第一目標模型的輸出結果確定中位費率；將所述預報價因子輸入至預先訓練好的第二目標模型中，根據所述第二目標模型的輸出結果確定最大費率；其中，所述第一目標模型是根據歷史數據的預報價因子和中位費率對LightGBM模型訓練得到的，所述第二目標模型是根據歷史數據的預報價因子和最大費率對LightGBM模型訓練得到的。

作為本申請的進一步改進，所述根據所述預報價因子，從HDFS系統中存儲的所述歷史數據中篩選出與所述保險報價請求匹配的相似案例，包括：

在所述歷史數據中查找與所述保險報價請求的各類別型因子分別相同的第一數據；

計算所述第一數據的每個數值型因子與所述保險報價請求的對應數值型因子的比值或差值；