[發(fā)明專(zhuān)利]基于人工智能的數(shù)據(jù)處理方法、裝置、終端及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011059580.3
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN112199417B
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 張躍;張浩然
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類(lèi)號(hào): G06F16/2458
• 分類(lèi)號(hào): G06F16/2458;G06K9/62;G06N3/12
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 陳敬華;楊毅玲

1.一種基于人工智能的數(shù)據(jù)處理方法，其特征在于，所述方法包括：

將使用XGBoost模型從原始數(shù)據(jù)集中選取出的重要數(shù)據(jù)集切分為多個(gè)第一分?jǐn)?shù)據(jù)集，使用每個(gè)第一分?jǐn)?shù)據(jù)集對(duì)訓(xùn)練后的第一lightGBM模型進(jìn)行測(cè)試得到第一測(cè)試通過(guò)率，其中，所述重要數(shù)據(jù)集與每個(gè)第一分?jǐn)?shù)據(jù)集具有相同的多個(gè)字段；

執(zhí)行數(shù)據(jù)集更新過(guò)程，包括：將每個(gè)第一分?jǐn)?shù)據(jù)集中第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行預(yù)標(biāo)準(zhǔn)化處理得到第二分?jǐn)?shù)據(jù)集，并使用每個(gè)第二分?jǐn)?shù)據(jù)集對(duì)訓(xùn)練后的第二lightGBM模型進(jìn)行測(cè)試得到第二測(cè)試通過(guò)率，其中，所述第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)代表重要度最高的數(shù)據(jù)；根據(jù)多個(gè)所述第一測(cè)試通過(guò)率及對(duì)應(yīng)的所述第二測(cè)試通過(guò)率判斷是否需要對(duì)所述重要數(shù)據(jù)集中的所述第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并根據(jù)判斷得到的判斷結(jié)果更新所述第二分?jǐn)?shù)據(jù)集；

將每個(gè)更新后的第二分?jǐn)?shù)據(jù)集中第二個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行預(yù)標(biāo)準(zhǔn)化處理得到第三分?jǐn)?shù)據(jù)集，并使用每個(gè)第三分?jǐn)?shù)據(jù)集對(duì)訓(xùn)練后的第三lightGBM模型進(jìn)行測(cè)試得到第三測(cè)試通過(guò)率，并重復(fù)執(zhí)行上述數(shù)據(jù)集更新過(guò)程，直至根據(jù)多個(gè)更新的第二測(cè)試通過(guò)率及對(duì)應(yīng)的所述第三測(cè)試通過(guò)率判斷是否需要對(duì)所述重要數(shù)據(jù)集中的最后一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并根據(jù)所有的判斷結(jié)果更新所述重要數(shù)據(jù)集得到目標(biāo)數(shù)據(jù)集，其中，所述最后一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)代表重要度最低的數(shù)據(jù)。

2.如權(quán)利要求1所述的基于人工智能的數(shù)據(jù)處理方法，其特征在于，所述使用XGBoost模型從原始數(shù)據(jù)集中選取出重要數(shù)據(jù)集的過(guò)程包括：

基于所述原始數(shù)據(jù)集訓(xùn)練第一XGBoost模型，獲取所述第一XGBoost模型輸出的所述原始數(shù)據(jù)集中每個(gè)字段的重要度值，并計(jì)算所述第一XGBoost模型的第一預(yù)測(cè)準(zhǔn)確率；

對(duì)所述重要度值按照從大到小進(jìn)行排序；

讀取預(yù)設(shè)數(shù)值序列中的第一個(gè)數(shù)值，從排序后的重要度值中獲取所述第一個(gè)數(shù)值的重要度值對(duì)應(yīng)的第一目標(biāo)字段，并將所述第一目標(biāo)字段對(duì)應(yīng)的多個(gè)原始數(shù)據(jù)作為第一子原始數(shù)據(jù)集；

基于所述第一子原始數(shù)據(jù)集訓(xùn)練第二XGBoost模型，并計(jì)算所述第二XGBoost模型的第二預(yù)測(cè)準(zhǔn)確率；

判斷所述第一預(yù)測(cè)準(zhǔn)確率與所述第二預(yù)測(cè)準(zhǔn)確率之間的差值是否小于預(yù)設(shè)差值閾值；

當(dāng)所述第一預(yù)測(cè)準(zhǔn)確率與所述第二預(yù)測(cè)準(zhǔn)確率之間的差值小于或者等于預(yù)設(shè)差值閾值時(shí)，將所述第一子原始數(shù)據(jù)集確定為重要數(shù)據(jù)集；

當(dāng)所述第一預(yù)測(cè)準(zhǔn)確率與所述第二預(yù)測(cè)準(zhǔn)確率之間的差值大于所述預(yù)設(shè)差值閾值時(shí)，讀取所述預(yù)設(shè)數(shù)值序列中的第二個(gè)數(shù)值，從排序后的重要度值中獲取所述第二個(gè)數(shù)值的重要度值對(duì)應(yīng)的第二目標(biāo)字段，并將所述第二目標(biāo)字段對(duì)應(yīng)的多個(gè)原始數(shù)據(jù)作為第二子原始數(shù)據(jù)集；

當(dāng)所述第一預(yù)測(cè)準(zhǔn)確率與所述第二預(yù)測(cè)準(zhǔn)確率之間的差值小于或者等于所述預(yù)設(shè)差值閾值時(shí)，停止讀取所述預(yù)設(shè)數(shù)值序列中的數(shù)值，并將當(dāng)前的第二子原始數(shù)據(jù)集確定為重要數(shù)據(jù)集。

3.如權(quán)利要求1所述的基于人工智能的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)多個(gè)所述第一測(cè)試通過(guò)率及對(duì)應(yīng)的所述第二測(cè)試通過(guò)率判斷是否需要對(duì)所述重要數(shù)據(jù)集中的所述第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并根據(jù)判斷得到的判斷結(jié)果更新所述第二分?jǐn)?shù)據(jù)集包括：

判斷所述第一測(cè)試通過(guò)率是否小于所述第二測(cè)試通過(guò)率；

當(dāng)確定所述第一測(cè)試通過(guò)率小于所述第二測(cè)試通過(guò)率時(shí)，生成判斷結(jié)果為確定需要對(duì)所述重要數(shù)據(jù)集中所述第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將所述第一分?jǐn)?shù)據(jù)集中所述第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后的數(shù)據(jù)集作為所述第二分?jǐn)?shù)據(jù)集；

當(dāng)確定所述第一測(cè)試通過(guò)率大于或者等于所述第二測(cè)試通過(guò)率時(shí)，生成判斷結(jié)果為確定不需要對(duì)所述重要數(shù)據(jù)集中所述第一個(gè)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將所述第一分?jǐn)?shù)據(jù)集作為所述第二分?jǐn)?shù)據(jù)集。