[發明專利]基于Hadoop的數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 202011284193.X
• 申請日: 2020-11-17
• 公開（公告）號: CN112634062B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 王鍔;羅攀;王鑫婕;李春曉;黃琳;盧金金
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06Q40/08
• 分類號: G06Q40/08;G06F18/214;G06F16/9535;G06F16/2458
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

1.一種基于Hadoop的數據處理方法，其特征在于，所述方法包括：

獲取歷史數據的預報價因子和費率，將所述歷史數據的預報價因子和費率存儲于Hadoop平臺的HDFS系統，其中，所述預報價因子包括類別型因子和數值型因子；

接收前端發送的攜帶險種類型的保險報價請求，根據所述險種類型獲取所述保險報價請求的預報價因子；

根據所述預報價因子，從HDFS系統中存儲的所述歷史數據中篩選出與所述保險報價請求匹配的相似案例；

當所述相似案例的數量大于預設閾值時，利用MapReduce計算框架計算每個所述相似案例的數值型因子和所述保險報價請求的數值型因子的歐式距離，按照所述歐式距離從小到大的順序對所述相似案例進行排序，獲取排序前第一預設數量的相似案例，根據獲取的所述相似案例的費率確定中位費率和最大費率；

當所述相似案例的數量小于或等于所述預設閾值時，將所述預報價因子輸入至預先訓練好的第一目標模型中，根據所述第一目標模型的輸出結果確定中位費率；將所述預報價因子輸入至預先訓練好的第二目標模型中，根據所述第二目標模型的輸出結果確定最大費率；其中，所述第一目標模型是根據歷史數據的預報價因子和中位費率對LightGBM模型訓練得到的，所述第二目標模型是根據歷史數據的預報價因子和最大費率對LightGBM模型訓練得到的；

所述根據所述預報價因子，從HDFS系統中存儲的所述歷史數據中篩選出與所述保險報價請求匹配的相似案例，包括：

在所述歷史數據中查找與所述保險報價請求的各類別型因子分別相同的第一數據；

計算所述第一數據的每個數值型因子與所述保險報價請求的對應數值型因子的比值或差值；

篩選每個所述比值或差值均在預設范圍內的第一數據作為相似案例；

所述將所述預報價因子輸入至預先訓練好的第一目標模型中之前，還包括：

獲取歷史數據的預報價因子和對應的中位費率；

將所述歷史數據的預報價因子作為訓練樣本輸入至LightGBM模型中，得到模型輸出結果；

根據所述模型輸出結果和所述歷史數據的中位費率對所述LightGBM模型中的模型參數進行調整，將訓練好的所述LightGBM模型作為第一目標模型；

所述將所述預報價因子輸入至預先訓練好的第二目標模型中之前，還包括：

獲取歷史數據的預報價因子和對應的最大費率；

將所述歷史數據的預報價因子作為訓練樣本輸入至LightGBM模型中，得到模型輸出結果；

根據所述模型輸出結果和所述歷史數據的最大費率對所述LightGBM模型中的模型參數進行調整，將訓練好的LightGBM模型作為第二目標模型。

2.如權利要求1所述基于Hadoop的數據處理方法，其特征在于，所述數據處理方法還包括：

將所述預報價因子輸入至預先訓練好的精算模型中，根據所述精算模型的輸出結果確定預測費率，其中，所述精算模型用于進行費率精算；

根據所述中位費率和所述最大費率確定費率區間；

將所述預測費率和所述費率區間進行輸出顯示。

3.如權利要求1所述基于Hadoop的數據處理方法，其特征在于，所述根據所述預報價因子，從HDFS系統中存儲的所述歷史數據中篩選出與所述保險報價請求匹配的相似案例之前，還包括：

剔除歷史數據中的異常數據；

對剔除異常數據后的歷史數據進行標準化處理。

4.如權利要求1所述基于Hadoop的數據處理方法，其特征在于，

所述險種類型包括企財險、責任險、團體意外險以及工程險。