[發明專利]弱監督機器學習優化方法、裝置、設備及存儲介質

在審

• 申請號: 202010084922.0
• 申請日: 2020-02-10
• 公開（公告）號: CN111325320A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 魏錫光;李權;鞠策;曹祥;劉洋;陳天健;高大山
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張婷

本發明公開了一種弱監督機器學習優化方法、裝置、設備及存儲介質，所述方法包括：對待訓練模型進行有監督訓練以更新待訓練模型的第一編碼器和第一預測器，得到對應的第二編碼器和第二預測器；鎖定第二編碼器中與有監督訓練相關的部分結構，對待訓練模型進行自監督訓練以更新第二編碼器的未鎖定部分結構，得到第三編碼器；鎖定第三編碼器，對待訓練模型進行有監督訓練以更新第二預測器，以得到與待訓練模型對應的目標模型。本發明實現了即使訓練過程中僅使用少量的有標簽樣本，也能夠訓練得到預測效果很好的目標模型，從而降低了機器學習模型的訓練成本，提高了模型訓練效率。

技術領域

本發明涉及人工智能領域，尤其涉及一種弱監督機器學習優化方法、裝置、設備及存儲介質。

背景技術

隨著人工智能技術的發展，機器學習也越來越多地被應用于各個領域。現今的機器學習通常需要大量的帶標簽數據訓練機器學習模型才能夠獲得好的模型預測效果，訓練數據可能很容易獲得，而打標簽則需要專門的人力完成，導致模型訓練成本高、訓練效率低。因此通常會面臨有標簽的數據比較少，而無標簽數據比較多的情況，從而導致機器學習無法獲得很好的模型預測效果，因此，弱監督機器學習是目前業界的一個研究方向。

現有的基于自編碼解碼器的弱監督機器學習方法雖然能夠實現采用少量的有標簽數據進行機器學習，但是這種方法未考慮自監督的隨機性，自監督學習可能會破壞有監督學習的成果，導致訓練得到的模型預測效果并不好。因此，如何采用少量的標簽數據即可訓練得到預測效果很好的模型，以降低模型訓練成本、提高訓練效率，成為了一個亟待解決的問題。

發明內容

本發明的主要目的在于提供一種弱監督機器學習優化方法、裝置、設備及存儲介質，旨在解決如何采用少量的標簽數據即可訓練得到預測效果很好的模型，以降低模型訓練成本、提高訓練效率的問題。

為實現上述目的，本發明提供一種弱監督機器學習優化方法，所述弱監督機器學習優化方法包括以下步驟：

對待訓練模型進行有監督訓練以更新所述待訓練模型的第一編碼器和第一預測器，得到對應的第二編碼器和第二預測器；

鎖定所述第二編碼器中與有監督訓練相關的部分結構，對所述待訓練模型進行自監督訓練以更新所述第二編碼器的未鎖定部分結構，得到第三編碼器；

鎖定所述第三編碼器，對所述待訓練模型進行有監督訓練以更新所述第二預測器，基于所述第三編碼器和更新后的第二預測器得到與所述待訓練模型對應的目標模型。

可選地，所述對待訓練模型進行有監督訓練以更新所述待訓練模型的第一編碼器和第一預測器，得到對應的第二編碼器和第二預測器的步驟包括：

調用所述第一編碼器對用于訓練所述待訓練模型的第一有標簽樣本進行特征提取，得到第一預測特征；

調用所述第一預測器對所述第一預測特征進行預測處理，得到第一預測標簽；

根據所述第一預測標簽和所述第一有標簽樣本的真實標簽計算第一有監督損失函數，并根據所述第一有監督損失函數更新所述第一編碼器和所述第一預測器，循環更新至少一個世代后得到對應的第二編碼器和第二預測器。

可選地，所述鎖定所述第二編碼器中與有監督訓練相關的部分結構，對所述待訓練模型進行自監督訓練以更新所述第二編碼器的未鎖定部分結構，得到第三編碼器的步驟包括：

鎖定所述第二編碼器中與所述第一預測特征相關的部分結構；

調用所述第二編碼器對用于訓練所述待訓練模型的無標簽樣本進行特征提取，得到第二預測特征和第一增廣特征；

調用所述待訓練模型的解碼器對所述第二預測特征和所述第一增廣特征進行解碼處理，得到解碼數據；