[發(fā)明專利]一種數(shù)據(jù)訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011055438.1
• 申請日: 2020-09-29
• 公開（公告）號: CN112052915A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計）人: 萬明霞
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/20
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 錢娜

本申請?zhí)峁┑囊环N數(shù)據(jù)訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)，獲取原始訓(xùn)練數(shù)據(jù)集中的樣本數(shù)據(jù)；并預(yù)處理得到正、負(fù)樣本數(shù)據(jù)；分別針對正、負(fù)樣本數(shù)據(jù)，遍歷其所包含的所有列特征；分別針對正、負(fù)樣本數(shù)據(jù)所包含的所有列特征，隨機(jī)打亂每一列特征，并重新組合，得到新的正、負(fù)樣本數(shù)據(jù)；并添加至原始訓(xùn)練數(shù)據(jù)集中，得到新的訓(xùn)練數(shù)據(jù)集；并用其進(jìn)行模型訓(xùn)練。在本申請中，通過每樣本數(shù)據(jù)中的特征進(jìn)行隨機(jī)打亂和重新組合，使N個特征相互獨(dú)立，且每個特征都服從正態(tài)分布，基于此處理后，使非圖像和非語音類數(shù)據(jù)可以進(jìn)行數(shù)據(jù)增強(qiáng)，從而有效的擴(kuò)充此類數(shù)據(jù)的數(shù)據(jù)集，在利用該類數(shù)據(jù)進(jìn)行數(shù)據(jù)訓(xùn)練時，能夠有效改善模型過擬合的現(xiàn)象，提升模型預(yù)測的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說，涉及一種數(shù)據(jù)訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，使用訓(xùn)練樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練的過程中，如果采用的訓(xùn)練樣本數(shù)據(jù)規(guī)模較小，容易出現(xiàn)過擬合現(xiàn)象，即在進(jìn)行模型訓(xùn)練的過程中過分依賴訓(xùn)練樣本數(shù)據(jù)，從而對模型預(yù)測的結(jié)果準(zhǔn)確性帶來不利影響。

對于圖像類數(shù)據(jù)及語音類數(shù)據(jù)，通常采用諸如翻轉(zhuǎn)、旋轉(zhuǎn)和高斯噪聲等數(shù)據(jù)增強(qiáng)手段對訓(xùn)練樣本數(shù)據(jù)規(guī)模進(jìn)行擴(kuò)增，以改善進(jìn)行模型訓(xùn)練的過程中出現(xiàn)的過擬合現(xiàn)象，提高模型預(yù)測的結(jié)果準(zhǔn)確性；然而，對于非圖像類數(shù)據(jù)和非語音類數(shù)據(jù)，無法通過上述數(shù)據(jù)增強(qiáng)手段對樣本數(shù)據(jù)規(guī)模進(jìn)行擴(kuò)增，進(jìn)而導(dǎo)致在利用非圖像類數(shù)據(jù)和非語音類數(shù)據(jù)進(jìn)行模型訓(xùn)練的過程中，容易出現(xiàn)的過擬合現(xiàn)象，以及預(yù)測結(jié)果不準(zhǔn)確的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種數(shù)據(jù)訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)，以實(shí)現(xiàn)使用非圖像類數(shù)據(jù)和非語音類數(shù)據(jù)進(jìn)行模型訓(xùn)練的過程中，能通過數(shù)據(jù)增強(qiáng)手段進(jìn)行樣本數(shù)據(jù)規(guī)模的擴(kuò)增，進(jìn)而改善模型過擬合的現(xiàn)象，提升模型預(yù)測的準(zhǔn)確率的目的。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供如下技術(shù)方案：

一方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)訓(xùn)練方法，所述方法包括：

獲取原始訓(xùn)練數(shù)據(jù)集中的樣本數(shù)據(jù)；

對所述樣本數(shù)據(jù)進(jìn)行預(yù)處理，得到正樣本數(shù)據(jù)和負(fù)樣本數(shù)據(jù)；

分別針對所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)，遍歷所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)所包含的所有列特征；

分別針對所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)所包含的所有列特征，隨機(jī)打亂所述所有列特征中的每一列特征，并重新組合，得到新的正樣本數(shù)據(jù)和新的負(fù)樣本數(shù)據(jù)；

將所述新的正樣本數(shù)據(jù)和所述新的負(fù)樣本數(shù)據(jù)添加至所述原始訓(xùn)練數(shù)據(jù)集中，得到新的訓(xùn)練數(shù)據(jù)集；

利用所述新的訓(xùn)練數(shù)據(jù)集進(jìn)行模型訓(xùn)練。

可選的，所述分別針對所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)，遍歷所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)所包含的所有列特征，包括：

分別針對第一預(yù)設(shè)比例的所述正樣本數(shù)據(jù)和第二預(yù)設(shè)比例的所述負(fù)樣本數(shù)據(jù)，遍歷所述第一預(yù)設(shè)比例的正樣本數(shù)據(jù)和所述第二預(yù)設(shè)比例的負(fù)樣本數(shù)據(jù)所包含的所有列特征；

其中，所述第一預(yù)設(shè)比例指示用于遍歷的正樣本數(shù)據(jù)個數(shù)占所有的正樣本數(shù)據(jù)個數(shù)的比例，所述第二預(yù)設(shè)比例指示用于遍歷的負(fù)樣本數(shù)據(jù)個數(shù)占所有的負(fù)樣本數(shù)據(jù)個數(shù)的比例。

可選的，根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別針對所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)，遍歷所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)所包含的所有列特征，包括：

分別針對滿足第三預(yù)設(shè)比例關(guān)系的所述正樣本數(shù)據(jù)和所述負(fù)樣本數(shù)據(jù)，遍歷所述滿足第三預(yù)設(shè)比例關(guān)系的正樣本數(shù)據(jù)和負(fù)樣本數(shù)據(jù)所包含的所有列特征；

其中，所述第三預(yù)設(shè)比例指示用于遍歷的正樣本數(shù)據(jù)個數(shù)與用于遍歷的負(fù)樣本數(shù)據(jù)個數(shù)之間的比例。