[發明專利]模型訓練方法及系統、存儲介質

在審

• 申請號: 202011362884.7
• 申請日: 2020-11-28
• 公開（公告）號: CN114692886A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 林科;權濤;繆丹丹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本申請實施例提供一種模型訓練方法及系統、存儲介質，包括：獲取異構分布半監督數據集；根據所述異構分布半監督數據集的元特征確定半監督學習算法；根據所述半監督學習算法和所述異構分布半監督數據集，得到M個模型和所述M個模型分別對應的權重，其中，所述M個模型的精度滿足預設條件。通過本申請實施例，基于異構分布半監督數據集，根據異構分布半監督數據集的元特征確定半監督學習算法，并根據該半監督學習算法和該異構分布半監督數據集，得到M個模型和該M個模型分別對應的權重。采用該手段，基于異構分布半監督數據集得到多個模型，提高了在異構分布半監督數據集場景下訓練得到的模型精度，進而提升了交付效率和交付質量。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種模型訓練方法及系統、存儲介質。

背景技術

現有機器學習建模技術得到了廣泛的發展和應用，無論在學術界還是工業界均取得了階段性的進展。然而，隨著機器學習建模技術產業化的應用場景和應用需求不斷增多，面臨樣本標注成本高、樣本標注數量不足等應用問題。為解決上述問題，半監督學習技術應運而生。相比于有監督學習，半監督學習可利用少量有標注樣本及大量無標注樣本構成的半監督數據集進行機器學習建模，以逼近僅利用海量有標注樣本構成的數據集進行有監督學習建模的效果。

同時，這類問題在電信領域也屢見不鮮。而且，在電信領域大部分應用場景中，還存在樣本特征維度高、特征構成多源(用戶信息、設備信息、網絡信息等)的情況，導致數據集特征分布雜亂、噪聲大，使得機器學習專家在該領域應用傳統半監督學習技術時，存在以下問題：1)交付效率低：需要嘗試不同類型半監督學習算法，并不斷對算法參數調優，導致試錯成本高，交付周期長，交付效率低。2)交付質量低：僅使用單一的半監督學習算法，可能無法很好地適配數據集特征分布特點，導致模型精度偏低。

為使半監督學習技術在電信領域從能用到真正的好用，自動化半監督學習技術成為業界研究的前沿技術。該技術利用自動化機器學習技術，結合半監督學習算法，通過自動迭代尋優的方式，訓練得到模型，以達到提高電信領域在上述場景中的模型交付效率和交付質量的目標。

在電信領域部分應用場景中，由于數據集中樣本特征的值的記錄來自于不同域(用戶域、設備域、網絡域等)的信息，導致數據集內特征的取值的數據類型多樣(連續、離散、序數等)、特征內及特征間關系模式繁多(時序模式、空間模式、結構模式等)、特征子集存在多種分布類型(正態分布、長尾分布、流形/平滑性分布、大間隔/低密度分布等)，該類場景中具備上述數據集特征分布特點的數據集稱之為異構分布數據集，如圖1所示。當異構分布數據集中只有部分樣本有標注信息時，稱為異構分布半監督數據集。其中，異構分布數據集無法用單一分布形式對整體數據集特征分布情況進行描述。如圖2所示，左邊為大間隔/低密度分布數據集二維投影圖，可看到在該分布下，數據集中樣本子集可明顯成簇，而從右邊異構分布數據集二維投影圖可看到，除了部分可明顯成簇的樣本子集，還有部分樣本子集簇間分界不明顯，無法用單一分布形式進行描述。

在判斷數據集分布時，現有技術主要利用無標注數據的無監督聚類特征，如圖3所示。然而僅能描述和識別樣本自己可明顯成簇的單一有約束分布數據集(流形/平滑性分布、大間隔/低密度分布)，如圖4所示；同時，在最終模型輸出時，僅能輸出一個適用于單一有約束分布數據集(流形/平滑性分布、大間隔/低密度分布)的模型。這樣導致在異構分布數據集場景下得到的模型僅能在符合對應單一有約束分布形式描述的樣本子集上適用，導致模型在整體上的預測精度低。

發明內容

本申請公開了一種模型訓練方法及系統、存儲介質，可以實現較高的預測精度。

第一方面，本申請實施例提供一種模型訓練方法，包括：獲取異構分布半監督數據集；根據所述異構分布半監督數據集的元特征確定半監督學習算法；根據所述半監督學習算法和所述異構分布半監督數據集，得到M個模型和所述M個模型分別對應的權重，其中，所述M個模型的精度滿足預設條件，如均大于預設精度等，M為不小于1的整數。