[發明專利]數據標注修正方法、裝置、計算機可讀介質及電子設備

有效

• 申請號: 201910704540.0
• 申請日: 2019-07-31
• 公開（公告）號: CN110399933B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 李佩易;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種數據標注修正方法，其特征在于，所述方法包括：

針對多個不同深度的學習模型，分別計算訓練集中需要進行標注修正的樣本數據的分類分數的閾值范圍，得到每一所述學習模型對應的閾值范圍，其中，每一所述學習模型是采用所述訓練集訓練得到的；

將所述訓練集分別輸入每一所述學習模型，得到所述訓練集中每一樣本數據在各所述學習模型下的分類分數；

根據每一所述樣本數據在各個所述學習模型下的分類分數，確定待進行標注修正的目標樣本集，對于所述目標樣本集中的任一樣本數據，該樣本數據在每一所述學習模型下的分類分數均在該學習模型對應的閾值范圍內；

針對所述目標樣本集中的每一樣本數據，獲取該樣本數據輸入各所述學習模型后得到的分類標注，并根據該樣本數據的每一種分類標注的占比，將該樣本數據的標注修正為占比最高的分類標注。

2.根據權利要求1所述的數據標注修正方法，其特征在于，在針對多個不同深度的學習模型，分別計算訓練集中需要進行標注修正的樣本數據的分類分數的閾值范圍之前，所述方法還包括：

針對目標結構的第一學習模型，計算測試集對應的需要進行標注修正的樣本數據的分類分數的閾值范圍，和/或計算驗證集對應的需要進行標注修正的樣本數據的分類分數的閾值范圍；

針對所述測試集中分類分數在所述測試集對應的閾值范圍內的樣本數據，根據用戶輸入的標注指令對該樣本數據進行標注修正；和/或，針對所述驗證集中分類分數在所述驗證集對應的閾值范圍內的樣本數據，根據用戶輸入的標注指令對該樣本數據進行標注修正；

其中，所述多個不同深度包括所述目標結構；所述目標結構的第一學習模型是基于所述訓練集進行訓練，且經過所述驗證集驗證，以及經過所述測試集測試得到的；所述多個不同深度的學習模型是基于所述訓練集進行訓練，且經過修正后的所述驗證集驗證和/或經過修正后的所述測試集測試得到的。

3.根據權利要求1所述的數據標注修正方法，其特征在于，所述方法還包括：

針對目標結構的第二學習模型，計算測試集對應的需要進行標注修正的樣本數據的分類分數的閾值范圍，和/或計算驗證集對應的需要進行標注修正的樣本數據的分類分數的閾值范圍，所述目標結構的第二學習模型是基于修正后的訓練集訓練得到的；

針對所述測試集中分類分數在所述測試集對應的閾值范圍內的樣本數據，根據用戶輸入的標注指令對該樣本數據進行標注修正；和/或，針對所述驗證集中分類分數在所述驗證集對應的閾值范圍內的樣本數據，根據用戶輸入的標注指令對該數據進行標注修正。

4.根據權利要求1所述的數據標注修正方法，其特征在于，所述多個不同深度的學習模型包括具有目標結構的第三學習模型，所述方法還包括：

針對所述第三學習模型，計算測試集對應的需要進行標注修正的樣本數據的分類分數的閾值范圍，和/或計算驗證集對應的需要進行標注修正的樣本數據的分類分數的閾值范圍；

針對所述測試集中分類分數在所述測試集對應的閾值范圍內的樣本數據，根據用戶輸入的標注指令對該樣本數據進行標注修正；和/或，針對所述驗證集中分類分數在所述驗證集對應的閾值范圍內的樣本數據，根據用戶輸入的標注指令對該樣本數據進行標注修正；

所述多個不同深度的學習模型是基于所述訓練集進行訓練，且經過所述驗證集驗證，以及經過所述測試集測試得到的。

5.根據權利要求1-4任一項所述的數據標注修正方法，其特征在于，針對多個不同深度的學習模型，分別計算訓練集中需要進行標注修正的樣本數據的分類分數的閾值范圍包括：

根據每一所述學習模型的預設召回率和/或預設精確率分別確定每一所述學習模型對應的分類分數的預設閾值；

針對每一所述學習模型，根據所述訓練集中樣本數據的分類分數分布情況以所述預設閾值為中心確定需要進行標注修正的樣本數據的分類分數的閾值范圍，其中分類分數在所述閾值范圍內的樣本數據占所述訓練集內總樣本數據的百分比等于預設修正比例。