[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910432715.7
• 申請日: 2019-05-23
• 公開（公告）號: CN110298541A
• 公開（公告）日: 2019-10-01
• 發(fā)明（設計）人: 韓磊
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/00;G06K9/62
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質(zhì)。所述方法包括：獲取初始樣本數(shù)據(jù)集合中的樣本數(shù)據(jù)的數(shù)量，執(zhí)行數(shù)據(jù)采樣流程；將待打標數(shù)據(jù)集合中噪聲待打標數(shù)據(jù)進行清除并保留共性待打標數(shù)據(jù)；從共性待打標數(shù)據(jù)中選取第一待打標數(shù)據(jù)，并復制得到第二待打標數(shù)據(jù)；對第一待打標數(shù)據(jù)使用第一打標規(guī)則進行數(shù)據(jù)打標得到第一打標數(shù)據(jù)，對第二待打標數(shù)據(jù)使用第二打標規(guī)則進行數(shù)據(jù)打標得到第二打標數(shù)據(jù)；若第一打標數(shù)據(jù)中的標注結(jié)果和第二打標數(shù)據(jù)中的標注結(jié)果不一致，將第一打標數(shù)據(jù)和第二打標數(shù)據(jù)記錄為無效數(shù)據(jù)并將清除。本發(fā)明通過提前清除用于模型訓練的樣本數(shù)據(jù)中的無效數(shù)據(jù)，可以提高了模型訓練的訓練效果和檢測效果。

技術(shù)領域

本發(fā)明涉及數(shù)據(jù)分析領域，尤其涉及一種數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質(zhì)。

背景技術(shù)

目前企業(yè)坐席通過企業(yè)電話、某種客戶端或網(wǎng)頁上與客戶進行溝通會話，且部分企業(yè)坐席可能會發(fā)生違規(guī)的現(xiàn)象，從而對公司的聲譽以及經(jīng)濟效益帶來一定的負面影響。因此，公司監(jiān)管坐席與客戶的會話消息就非常重要，監(jiān)管坐席與客戶的會話消息可以用到質(zhì)檢模型，但需要提前訓練好一個質(zhì)檢模型，此時，如果用于進行訓練的數(shù)據(jù)有太多的無效數(shù)據(jù)，就會降低質(zhì)檢模型的檢測效果。

因此，尋找一種能夠獲取一定的有效數(shù)據(jù)從而可以提高質(zhì)檢模型訓練的訓練效果和檢測效果的技術(shù)方案成為本領域技術(shù)人員亟需解決的問題。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質(zhì)，用于提高模型訓練的訓練效果和檢測效果。

一種數(shù)據(jù)處理方法，包括：

獲取初始樣本數(shù)據(jù)集合中的樣本數(shù)據(jù)的數(shù)量，并執(zhí)行數(shù)據(jù)采樣流程，且所述數(shù)據(jù)采樣流程的執(zhí)行次數(shù)與所述樣本數(shù)據(jù)的數(shù)量一致，所述數(shù)據(jù)采樣流程包括：從所述初始樣本數(shù)據(jù)集合中隨機剪切一個樣本數(shù)據(jù)放入待打標數(shù)據(jù)集合中作為待打標數(shù)據(jù)，再將剪切的所述樣本數(shù)據(jù)復制之后放回所述初始數(shù)據(jù)集合中；

將所述待打標數(shù)據(jù)集合中噪聲待打標數(shù)據(jù)進行清除并保留共性待打標數(shù)據(jù)，所述噪聲待打標數(shù)據(jù)是指冗余或/和異常錯誤的待打標數(shù)據(jù)，所述共性待打標數(shù)據(jù)是指除所述噪聲待打標數(shù)據(jù)之外的待打標數(shù)據(jù)；

從所述待打標數(shù)據(jù)集合的所述共性待打標數(shù)據(jù)中選取第一待打標數(shù)據(jù)，并對選取的所述第一待打標數(shù)據(jù)進行復制之后，得到第二待打標數(shù)據(jù)；

對所述第一待打標數(shù)據(jù)使用第一打標規(guī)則進行數(shù)據(jù)打標得到第一打標數(shù)據(jù)，同時對所述第二待打標數(shù)據(jù)使用第二打標規(guī)則進行數(shù)據(jù)打標得到第二打標數(shù)據(jù)，并將所述第一打標數(shù)據(jù)和所述第二打標數(shù)據(jù)存儲至預設數(shù)據(jù)庫，所述第一打標數(shù)據(jù)和所述第二打標數(shù)據(jù)是帶有標注結(jié)果的打標數(shù)據(jù)；

判斷所述第一打標數(shù)據(jù)中的標注結(jié)果和所述第二打標數(shù)據(jù)中的標注結(jié)果是否一致；

若所述第一打標數(shù)據(jù)和所述第二打標數(shù)據(jù)中的標注結(jié)果不一致，則將所述第一打標數(shù)據(jù)和所述第二打標數(shù)據(jù)記錄為無效數(shù)據(jù)，并將所述第一打標數(shù)據(jù)和所述第二打標數(shù)據(jù)從所述預設數(shù)據(jù)庫中清除。

一種數(shù)據(jù)處理裝置，包括：

第一獲取模塊，用于獲取初始樣本數(shù)據(jù)集合中的樣本數(shù)據(jù)的數(shù)量，并執(zhí)行數(shù)據(jù)采樣流程，且所述數(shù)據(jù)采樣流程的執(zhí)行次數(shù)與所述樣本數(shù)據(jù)的數(shù)量一致，所述數(shù)據(jù)采樣流程包括：從所述初始樣本數(shù)據(jù)集合中隨機剪切一個樣本數(shù)據(jù)放入待打標數(shù)據(jù)集合中作為待打標數(shù)據(jù)，再將剪切的所述樣本數(shù)據(jù)復制之后放回所述初始數(shù)據(jù)集合中；

清除模塊，用于將所述待打標數(shù)據(jù)集合中噪聲待打標數(shù)據(jù)進行清除并保留共性待打標數(shù)據(jù)，所述噪聲待打標數(shù)據(jù)是指冗余或/和異常錯誤的待打標數(shù)據(jù)，所述共性待打標數(shù)據(jù)是指除所述噪聲待打標數(shù)據(jù)之外的待打標數(shù)據(jù)；

選取模塊，用于從所述待打標數(shù)據(jù)集合的所述共性待打標數(shù)據(jù)中選取第一待打標數(shù)據(jù)，并對選取的所述第一待打標數(shù)據(jù)進行復制之后，得到第二待打標數(shù)據(jù)；