[發明專利]一種訓練樣本確定方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011288666.3
• 申請日: 2020-11-17
• 公開（公告）號: CN112200271A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 熊偉灼;楊青
• 申請（專利權）人: 上海優揚新媒信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李婷婷

本申請實施例提供一種訓練樣本確定方法、裝置、計算機設備及存儲介質，通過確定訓練樣本集中每個訓練樣本降維處理后的目標訓練樣本；并獲取對參考樣本集中參考樣本降維處理后的目標參考樣本進行聚類處理得到的至少一個目標參考樣本簇和比例信息，參考樣本晚于訓練樣本；以及根據至少一個目標參考樣本簇對所有目標訓練樣本進行聚類處理得到分別與每個目標參考樣本簇對應的目標訓練樣本簇；進而按照比例信息分別從每個目標訓練樣本簇中確定用于模型訓練的目標訓練樣本的方式，解決了因為訓練模型和使用模型的時間差造成的模型效果衰減的情況，同時通過抽樣可以減少用于對模型進行訓練的訓練樣本的數量從而加快模型訓練速度。

技術領域

本發明涉及計算機技術領域，更具體地說，涉及一種訓練樣本確定方法、裝置、計算機設備及存儲介質。

背景技術

一般來說模型建模的過程參見圖1，其主要涉及到數據獲取、樣本篩選、數據清洗、特征工程和模型建立這5個步驟。

現有技術中，樣本篩選會根據業務邏輯從數據中篩選出所有可以用到的訓練樣本進行機器學習建模，因為統計學建模本質也是對模型的參數估計，而針對參數估計問題訓練樣本量越大，參數估計誤差可能越小，參數估計準確的可能性越大。

但是由于上述結論依賴于訓練樣本獨立一致分布的假設，而該假設在實際情況中可能并不滿足，這樣往往造成模型表現下降的問題。并且，隨著業務量的積累，使用的訓練樣本量會逐步增大，導致模型的訓練時間較長。

發明內容

有鑒于此，為解決上述問題，本發明提供一種訓練樣本確定方法、裝置、計算機設備及存儲介質，以降低模型表現衰減的情況、提高模型訓練效率。技術方案如下：

一種訓練樣本確定方法，包括：

確定訓練樣本集中每個訓練樣本降維處理后的目標訓練樣本；

獲取對參考樣本集中參考樣本降維處理后的目標參考樣本進行聚類處理得到的至少一個目標參考樣本簇和比例信息，所述比例信息表征所述至少一個目標參考樣本簇中第一參考樣本簇和第二參考樣本簇中目標參考樣本數量的比例，所述參考樣本晚于所述訓練樣本；

根據所述至少一個目標參考樣本簇對所有所述目標訓練樣本進行聚類處理得到分別與每個所述目標參考樣本簇對應的目標訓練樣本簇；

按照所述比例信息分別從每個所述目標訓練樣本簇中確定用于模型訓練的目標訓練樣本。

優選的，所述確定訓練樣本集中每個訓練樣本降維處理后的目標訓練樣本，包括：

確定由多個訓練樣本構成的訓練樣本集，所述訓練樣本指示用戶的多個維度特征；

對所述訓練樣本指示的多個維度特征進行特征分類得到所述訓練樣本指示的至少一個特征組，不同的特征組屬于不同的特征類別；一個維度特征僅屬于一個特征組；

將所述特征組輸入至預訓練的與所述特征組所屬特征類別對應的特征信息確定模型得到用于表征所述特征組的特征信息；

其中，所述訓練樣本指示的至少一個特征組的特征信息構成所述訓練樣本降維處理后的目標訓練樣本。

優選的，與目標特征類別對應的特征信息確定模型的生成過程包括：

確定用于訓練特征信息確定模型的第一樣本；

對所述第一樣本指示的多個維度特征進行特征分類得到所述第一樣本指示的至少一個特征組；

根據所述第一樣本指示的屬于所述目標特征類別的特征組生成第二樣本；

利用所述第二樣本對待訓練特征信息確定模型進行訓練生成與所述目標特征類別對應的特征信息確定模型。