[發明專利]數據處理方法、裝置、存儲介質及電子設備

有效

• 申請號: 201811554828.6
• 申請日: 2018-12-18
• 公開（公告）號: CN109766922B
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 侯廣健
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曾堯;魏嘉熹

本公開涉及一種數據處理方法、裝置、存儲介質及電子設備，用以解決現有數學模型訓練過程效率不高的技術問題。該方法包括：獲取樣本數據的特征參數，該樣本數據是數據集合中的帶有標簽的數據；根據樣本數據的特征參數預訓練數學模型，以得到滿足預設條件的建模參數以及模型輸入參數，模型輸入參數是部分或者全部樣本數據的特征參數；根據數據集合中無標簽數據的特征參數與模型輸入參數之間的相似度，從數據集合中選取用于訓練數學模型的目標樣本數據；根據建模參數對數學模型進行初始化，并根據目標樣本數據對數學模型進行訓練。

技術領域

本公開涉及機器學習領域，具體地，涉及一種數據處理方法、裝置、存儲介質及電子設備。

背景技術

機器學習技術廣泛應用于各個領域，在某些特殊的應用場景中，由于帶標簽的樣本數據獲取成本高、周期長等因素，致使項目面臨著樣本數量不足的問題。在現有技術中，通常采用如下方法在小樣本數據下完成模型訓練：

1、通過meta-learning的方式。在該方式中，事先從與本次問題相近的若干問題中獲得先驗知識，并以此作為初始建模參數對模型進行訓練。然而，尋找與本次問題相近的問題較為困難，且依然基于現有的少量樣本數據進行模型訓練，所得到的模型泛化能力不佳。

2、通過人工標注數據擴充樣本數量。該方式依賴于人工隨機選取樣本數據并進行數據標注，數據選取的目的性不強，對于提升模型訓練效果的作用可能不大。

發明內容

本公開的目的是提供一種數據處理方法、裝置、存儲介質及電子設備，用以解決現有數學模型訓練過程效率不高的技術問題。

為了實現上述目的，本公開第一方面提供一種數據處理方法，所述方法包括：

獲取樣本數據的特征參數，所述樣本數據是數據集合中的帶有標簽的數據；

根據所述樣本數據的特征參數預訓練數學模型，以得到滿足預設條件的建模參數以及模型輸入參數，所述模型輸入參數是部分或者全部所述樣本數據的特征參數；

根據所述數據集合中無標簽數據的特征參數與所述模型輸入參數之間的相似度，從所述數據集合中選取用于訓練所述數學模型的目標樣本數據；

根據所述建模參數對所述數學模型進行初始化，并根據所述目標樣本數據對所述數學模型進行訓練。

可選地，所述根據所述樣本數據的特征參數預訓練數學模型，以得到滿足預設條件的建模參數以及模型輸入參數，包括：

設定一初始建模參數θ₁；

根據所述初始建模參數θ₁和所述樣本數據的特征參數θ₂通過公式進行迭代更新，并確定滿足如下目標函數的參數θ′：

其中，θ＝[θ₁,θ₂]，θ′＝[θ₁′,θ₂′]，θ₁′為本次迭代計算得到的建模參數，θ₂′為本次迭代選用的特征參數，α為超參數，L(f_θ)表示當前迭代在參數θ下的Loss值；

將滿足所述目標函數的θ₁′和θ₂′分別作為所述滿足預設條件的建模參數以及模型輸入參數。

可選地，所述根據所述數據集合中無標簽數據的特征參數與所述模型輸入參數之間的相似度，從所述數據集合中選取用于訓練所述數學模型的目標樣本數據，包括：

計算每一所述無標簽數據的特征參數與所述模型輸入參數中任一所述樣本數據的特征參數的距離信息；

將所述距離信息小于預設距離閾值的無標簽數據作為所述目標樣本數據。