[發(fā)明專(zhuān)利]數(shù)據(jù)標(biāo)注修正方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910704540.0
• 申請(qǐng)日: 2019-07-31
• 公開(kāi)（公告）號(hào): CN110399933B
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 李佩易;王長(zhǎng)虎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京英創(chuàng)嘉友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏嘉熹

本公開(kāi)涉及AI領(lǐng)域，具體地，涉及一種數(shù)據(jù)標(biāo)注修正方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。本公開(kāi)采用多個(gè)不同表達(dá)能力的學(xué)習(xí)模型同時(shí)計(jì)算訓(xùn)練集內(nèi)每一樣本數(shù)據(jù)的分類(lèi)分?jǐn)?shù)，并且選出在每一所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)均在該學(xué)習(xí)模型對(duì)應(yīng)的閾值范圍內(nèi)的樣本數(shù)據(jù)作為需要修正的樣本數(shù)據(jù)，將多個(gè)學(xué)習(xí)模型計(jì)算得到的分類(lèi)標(biāo)注占比最高的作為該樣本數(shù)據(jù)的標(biāo)注。因而，本公開(kāi)無(wú)需對(duì)訓(xùn)練集中所有樣本數(shù)據(jù)都進(jìn)行標(biāo)注修正，能夠自動(dòng)對(duì)樣本數(shù)據(jù)進(jìn)行核查，尋找出最容易出現(xiàn)標(biāo)注出錯(cuò)問(wèn)題的樣本數(shù)據(jù)集，自動(dòng)且較準(zhǔn)確地對(duì)該樣本數(shù)據(jù)集內(nèi)的標(biāo)注進(jìn)行修正，代替人工標(biāo)注，具有高效而低成本特點(diǎn)。

技術(shù)領(lǐng)域

本公開(kāi)涉及AI領(lǐng)域，具體地，涉及一種數(shù)據(jù)標(biāo)注修正方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。

背景技術(shù)

人工智能(AI)在技術(shù)層面主要涉及大數(shù)據(jù)、自然語(yǔ)言處理、深度學(xué)習(xí)、語(yǔ)音識(shí)別、圖像識(shí)別以及計(jì)算機(jī)視覺(jué)等技術(shù)，各技術(shù)均可能涉及到數(shù)學(xué)模型的生成和應(yīng)用。在現(xiàn)在技術(shù)中，訓(xùn)練學(xué)習(xí)模型往往需要根據(jù)學(xué)習(xí)模型的需求對(duì)用于訓(xùn)練、驗(yàn)證及測(cè)試的數(shù)據(jù)集進(jìn)行標(biāo)注。目前對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注的方式通常都是由人工來(lái)完成，因此數(shù)據(jù)集的標(biāo)注中往往會(huì)存在一定的錯(cuò)誤標(biāo)注，因此在人工標(biāo)注的過(guò)程中，還需要有一個(gè)對(duì)標(biāo)注后的數(shù)據(jù)集進(jìn)行核查的過(guò)程。這樣，對(duì)用于訓(xùn)練學(xué)習(xí)模型的數(shù)據(jù)集進(jìn)行標(biāo)注的過(guò)程就非常繁瑣，需要多人對(duì)整個(gè)數(shù)據(jù)集里的所有數(shù)據(jù)進(jìn)行標(biāo)注或核查，而且數(shù)據(jù)集的標(biāo)注錯(cuò)誤率不高時(shí)，將數(shù)據(jù)集中的所有數(shù)據(jù)都檢查一遍非常浪費(fèi)時(shí)間和人工成本。

由于數(shù)據(jù)集標(biāo)注的正確性很大程度上影響了學(xué)習(xí)模型的效果，學(xué)習(xí)模型需要在正確的數(shù)據(jù)標(biāo)注上才能獲得，因此如何高效而低成本地對(duì)數(shù)據(jù)集的標(biāo)注進(jìn)行核查和修改是亟需解決的一個(gè)問(wèn)題。

發(fā)明內(nèi)容

提供該發(fā)明內(nèi)容部分以便以簡(jiǎn)要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識(shí)要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

第一方面，本公開(kāi)提供一種數(shù)據(jù)標(biāo)注修正方法，所述方法包括：

針對(duì)多個(gè)不同深度的學(xué)習(xí)模型，分別計(jì)算訓(xùn)練集中需要進(jìn)行標(biāo)注修正的樣本數(shù)據(jù)的分類(lèi)分?jǐn)?shù)的閾值范圍，得到每一所述學(xué)習(xí)模型對(duì)應(yīng)的閾值范圍，其中，每一所述學(xué)習(xí)模型是采用所述訓(xùn)練集訓(xùn)練得到的；

將所述訓(xùn)練集分別輸入每一所述學(xué)習(xí)模型，得到所述訓(xùn)練集中每一樣本數(shù)據(jù)在各所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)；

根據(jù)每一所述樣本數(shù)據(jù)在各個(gè)所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)，確定待進(jìn)行標(biāo)注修正的目標(biāo)樣本集，對(duì)于所述目標(biāo)樣本集中的任一樣本數(shù)據(jù)，該樣本數(shù)據(jù)在每一所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)均在該學(xué)習(xí)模型對(duì)應(yīng)的閾值范圍內(nèi)；

針對(duì)所述目標(biāo)樣本集中的每一樣本數(shù)據(jù)，獲取該樣本數(shù)據(jù)輸入各所述學(xué)習(xí)模型后得到的分類(lèi)標(biāo)注，并根據(jù)該樣本數(shù)據(jù)的每一種分類(lèi)標(biāo)注的占比，將該樣本數(shù)據(jù)的標(biāo)注修正為占比最高的分類(lèi)標(biāo)注。

第二方面，本公開(kāi)提供一種數(shù)據(jù)標(biāo)注修正裝置，包括：

訓(xùn)練集閾值范圍確定模塊，用于針對(duì)多個(gè)不同深度的學(xué)習(xí)模型，分別計(jì)算訓(xùn)練集中需要進(jìn)行標(biāo)注修正的樣本數(shù)據(jù)的分類(lèi)分?jǐn)?shù)的閾值范圍，得到每一所述學(xué)習(xí)模型對(duì)應(yīng)的閾值范圍，其中，每一所述學(xué)習(xí)模型是采用所述訓(xùn)練集訓(xùn)練得到的；

訓(xùn)練集分類(lèi)模塊，用于將所述訓(xùn)練集分別輸入每一所述學(xué)習(xí)模型，得到所述訓(xùn)練集中每一樣本數(shù)據(jù)在各所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)；

訓(xùn)練集目標(biāo)集確定模塊，用于根據(jù)每一所述樣本數(shù)據(jù)在各個(gè)所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)，確定待進(jìn)行標(biāo)注修正的目標(biāo)樣本集，對(duì)于所述目標(biāo)樣本集中的任一樣本數(shù)據(jù)，該樣本數(shù)據(jù)在每一所述學(xué)習(xí)模型下的分類(lèi)分?jǐn)?shù)均在該學(xué)習(xí)模型對(duì)應(yīng)的閾值范圍內(nèi)；

訓(xùn)練集修正模塊，用于針對(duì)所述目標(biāo)樣本集中的每一樣本數(shù)據(jù)，獲取該樣本數(shù)據(jù)輸入各所述學(xué)習(xí)模型后得到的分類(lèi)標(biāo)注，并根據(jù)該樣本數(shù)據(jù)的每一種分類(lèi)標(biāo)注的占比，將該樣本數(shù)據(jù)的標(biāo)注修正為占比最高的分類(lèi)標(biāo)注。