[發明專利]基于跨域數據的評估模型的優化方法及設備

在審

• 申請號: 202110426307.8
• 申請日: 2021-04-20
• 公開（公告）號: CN113128594A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 尹悅;楊琦琦
• 申請（專利權）人: 連通（杭州）技術服務有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇

本申請的目的是提供基于跨域數據的評估模型的優化方法及設備，本申請通過獲取并確定至少三種數據源的原始數據和準確率；其中，每種所述數據源的原始數據包括至少兩條；將所述準確率最高時對應的數據源的原始數據作為訓練集；按照準確率從高到低的順序將數據源的原始數據加入至訓練集進行模型訓練，以得到模型性能最優的且用于對不同數據源的原始數據進行因變量評估的最終評估模型，不僅保證了模型訓練過程中的訓練集的多樣性，還能使模型能最大化的滿足實際應用場景的需求，進一步提高訓練所得模型的精確度，從而可以最大程度避免錯誤的且來源于不同分布的數據源所帶來的負面影響，以克服機器學習實踐中常見的跨域數據的數據質量問題。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于跨域數據的評估模型的優化方法及設備。

背景技術

現有技術中，在有監督的統計、機器學習及深度學習建模中，訓練數據的一致性分布和準確性是一個基礎。絕大部分預測算法的前提假設都是：訓練數據因變量100％準確和訓練數據來自同一個分布，但在解決真實的業務問題時，常常難以保證以上兩點。例如，訓練欺詐偵測模型需要收集欺詐交易作為訓練樣本，一筆歷史交易是否存在欺詐，由不同的審核人員人工審核，每個人員的審核的標準存在一定差異；又例如，短視頻內容分類模型需要大量已分類的短視頻作為訓練樣本，但分類工作通常由多個外包供應商提供，每個機構的分類標準和分類準度都不同；又例如，商戶經營分類模型需要已分好類的商戶數據作為訓練樣本，但商戶的經營類目通常由不同收單機構的商業拓展人員手工輸入，每個人員的判斷標準都不一樣，有些人甚至是胡亂填寫，導致進行模型訓練的數據不完整且存在實際偏差，使得訓練所得的模型的精確度不高，無法反應真實應用場景的需求。

發明內容

本申請的一個目的是提供基于跨域數據的評估模型的優化方法及設備，以解決數據源不完整且無法滿足實際應用場景的需求的問題，使得不僅保證了模型訓練過程中的訓練集的多樣性，還能使模型能最大化的滿足實際應用場景的需求，進一步提高訓練所得模型的精確度，從而可以最大程度避免錯誤的且來源于不同分布的數據源所帶來的負面影響，以克服機器學習實踐中常見的跨域數據的數據質量問題。

根據本申請的一個方面，提供了基于跨域數據的評估模型的優化方法，應用于客戶端，其中，所述方法包括：

步驟一、獲取并確定至少三種數據源的原始數據和準確率；其中，每種所述數據源的原始數據包括至少兩條；

步驟二、將所述準確率最高時對應的數據源的原始數據作為訓練集；

步驟三、對所述訓練集中的所有原始數據進行模型訓練，得到用于數據的因變量評估的第一評估模型，并測試所述第一評估模型的性能得到第一性能值；

步驟四、按照所述準確率從高到低的順序，累計加入下一準確率對應的數據源的原始數據至所述訓練集，并重復所述步驟三得到第二評估模型及其第二性能值；

步驟五、根據所述第一性能值和所述第二性能值判斷所述第二評估模型是否比所述第一評估模型的性能提升，若是則將所述第二評估模型作為更新后的第一評估模型，若否，則保持所述第一評估模型不變；

步驟六、對所述至少三種數據源中的、除所述準確率最高時對應的數據源和所述下一準確率對應的數據源以外的其他數據源重復所述步驟四和所述步驟五，直至累計加入完所述至少三種數據源至所述訓練集，得到用于對不同數據源的原始數據進行因變量評估的最終評估模型。

進一步地，上述方法中，所述步驟四、按照所述準確率從高到低的順序，累計加入下一準確率對應的數據源的原始數據至所述訓練集，并重復所述步驟三得到第二評估模型及其第二性能值，包括：

步驟四一、按照所述準確率從高到低的順序，基于所述第一評估模型分別對所述下一準確率對應的數據源的每條原始數據進行因變量預測，得到所述下一準確率對應的數據源中的每條原始數據的預測結果；