[發明專利]一種確定二分類模型的預測效果的方法及裝置

有效

• 申請號: 201910043305.3
• 申請日: 2019-01-17
• 公開（公告）號: CN111444930B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 林淼哲;方楨;張峻滔
• 申請（專利權）人: 上海游昆信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/66
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

本發明實施例公開了一種確定二分類模型的預測效果的方法及裝置，其中方法包括：獲取P個正樣本數據和Q個負樣本數據，并根據P個正樣本數據和Q個負樣本數據，得到M個二分類模型，針對于第i個二分類模型，使用第i個二分類模型對R個正樣本數據和K個負樣本數據進行預測，得到R+K個樣本數據的預測分值，進而根據R+K個樣本數據的預測分值中至少一個正樣本數據的預測分值，確定第i個二分類模型的預測效果。本發明實施例提供了一種根據正樣本數據的預測分值確定二分類模型的預測效果的方法，通過基于M個樣本數據的預測效果衡量機器學習的質量，可以有效確定二分類模型的預測效果。

技術領域

本發明涉及數據處理領域，尤其涉及一種確定二分類模型的預測效果的方法及裝置。

背景技術

在機器學習領域中，通常可以根據用戶輸入的樣本數據訓練得到多個模型，進而使用每個模型對待預測數據進行預測，并根據待預測數據對應的預測結果，確定待預測數據的類型。比如，以二分類模型為例，預測結果可以由標簽“0”和標簽“1”來表示，在使用二分類模型對待預測數據進行預測時，若待預測數據對應的預測結果大于或者等于預設閾值，則可以認為待預測數據為標簽“1”對應的類型，相應地，若待預測數據對應的預測結果小于預設閾值，則可以認為待預測數據為標簽“0”對應的類型。

在實際應用中，由于采用的訓練方式不同，或者使用的樣本數據不同，可能會使得訓練得到的多個二分類模型的預測效果不同。若二分類模型的預測效果較好，則使用二分類模型對待預測數據進行預測得到的預測結果很可能與待預測數據的真實類型相同，若二分類模型的預測效果較差，則使用二分類模型對待預測數據進行預測得到的預測結果很可能與待預測數據的真實類型不同。由此可知，在使用二分類模型對待預測數據進行預測之前，確定訓練得到的二分類模型的效果是非常重要的，然而，目前還未有一種比較完善地能夠有效確定二分類模型的預測效果的方法。

綜上，目前亟需一種確定二分類模型的預測效果的方法，用以有效確定二分類模型的預測效果。

發明內容

本發明實施例提供一種確定二分類模型的預測效果的方法，用以有效確定二分類模型的預測效果。

本發明實施例提供的一種確定二分類模型的預測效果的方法，所述方法包括：

獲取P個正樣本數據和Q個負樣本數據，所述正樣本數據為已知對目標對象感興趣的用戶的數據，所述負樣本數據為未知是否對所述目標對象感興趣的用戶的數據；

根據所述P個正樣本數據和所述Q個負樣本數據，得到M個二分類模型；其中，所述M個二分類模型為同一類型的二分類模型，且所述M個二分類模型的模型參數互不相同；或者，所述M個二分類模型為不同類型的二分類模型；

獲取驗證數據，所述驗證數據包括R個正樣本數據和K個負樣本數據；所述R個正樣本數據中包括除所述P個正樣本數據以外的正樣本數據；

針對于第i個二分類模型，使用所述第i個二分類模型對所述驗證數據進行預測，得到R+K個樣本數據的預測分值；根據所述R+K個樣本數據的預測分值中至少一個正樣本數據的預測分值，確定所述第i個二分類模型的預測效果；

其中，P、Q、M、R、K均為正整數，i＝1,……,M。

可選地，所述根據所述R+K個樣本數據的預測分值中至少一個正樣本數據的預測分值，確定所述第i個二分類模型的預測效果，包括：

根據所述R+K個樣本數據的預測分值，得到預測分值最大的W個預測分值；

根據所述W個預測分值中包括的正樣本數據的預測分值的數量，確定所述第i個二分類模型的預測效果。

可選地，所述根據所述P個正樣本數據和所述Q個負樣本數據，得到M個二分類模型，包括：