[發(fā)明專(zhuān)利]一種數(shù)據(jù)選擇方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010475317.6
• 申請(qǐng)日: 2020-05-29
• 公開(kāi)（公告）號(hào): CN113743431A
• 公開(kāi)（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 付彬;孫健;唐呈光;李楊;趙學(xué)敏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京鼎佳達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 任媛;劉鐵生

本發(fā)明公開(kāi)了一種數(shù)據(jù)選擇方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，本發(fā)明的主要目的在于優(yōu)化主動(dòng)學(xué)習(xí)過(guò)程中對(duì)樣本的選擇，避免樣本數(shù)據(jù)的選擇傾斜問(wèn)題。本發(fā)明主要的技術(shù)方案為：獲得候選樣本集合，所述候選樣本集合包括屬于不同類(lèi)別的多個(gè)候選樣本；根據(jù)屬于同一類(lèi)別的候選樣本，計(jì)算所述類(lèi)別的不確定度；根據(jù)不同類(lèi)別的不確定度，計(jì)算所述候選樣本集合的類(lèi)別不確定分布；根據(jù)所述候選樣本集合的類(lèi)別不確定分布，選擇第一類(lèi)別中的第一候選樣本進(jìn)入樣本池。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)選擇方法及裝置。

背景技術(shù)

隨著人工智能的普及，深度學(xué)習(xí)在各種各樣的實(shí)際應(yīng)用中取得巨大突破，很多問(wèn)題已不在是局限，但取得大量標(biāo)注準(zhǔn)確的數(shù)據(jù)依然需要高昂的成本，模型的訓(xùn)練依然需要大量的時(shí)間和精力，這些也成為當(dāng)前深度學(xué)習(xí)的局限。而主動(dòng)學(xué)習(xí)通過(guò)對(duì)未標(biāo)注數(shù)據(jù)進(jìn)行篩選，可以利用較少的標(biāo)注樣本取得較高的模型學(xué)習(xí)準(zhǔn)確率。

主動(dòng)學(xué)習(xí)(active learning)是人工智能的一個(gè)子領(lǐng)域，在統(tǒng)計(jì)學(xué)領(lǐng)域也叫做查詢(xún)學(xué)習(xí)、最優(yōu)實(shí)驗(yàn)設(shè)計(jì)。該算法包括兩個(gè)基本模塊：學(xué)習(xí)模塊和選擇策略。主動(dòng)學(xué)習(xí)通過(guò)“選擇策略”主動(dòng)從未標(biāo)注樣本集中挑選部分樣本，交給相關(guān)領(lǐng)域?qū)＜疫M(jìn)行標(biāo)注，然后將標(biāo)注樣本增加到訓(xùn)練數(shù)據(jù)集給“學(xué)習(xí)模塊”進(jìn)行訓(xùn)練。當(dāng)學(xué)習(xí)模塊滿(mǎn)足終止條件后停止，否則將不斷重復(fù)獲得更多的標(biāo)注樣本進(jìn)行訓(xùn)練。然而，現(xiàn)有的主動(dòng)學(xué)習(xí)在進(jìn)行樣本選擇時(shí)，主要考慮的是樣本自身的不確定性(即該樣本無(wú)法被模型進(jìn)行有效識(shí)別區(qū)分的程度)，以及該樣本與其他樣本的相關(guān)性(即樣本之間的近似程度)，當(dāng)需要選擇大量不同類(lèi)別的樣本時(shí)，若某一類(lèi)樣本的數(shù)量以及不確定性數(shù)量都很大，則通過(guò)主動(dòng)學(xué)習(xí)選出的樣本傾向與該類(lèi)樣本，導(dǎo)致樣本數(shù)據(jù)傾斜，從而影響模型訓(xùn)練優(yōu)化效果。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，本發(fā)明提出了一種數(shù)據(jù)選擇方法及裝置，主要目的在于優(yōu)化主動(dòng)學(xué)習(xí)過(guò)程中對(duì)樣本的選擇，避免樣本數(shù)據(jù)的選擇傾斜問(wèn)題。

為達(dá)到上述目的，本發(fā)明主要提供如下技術(shù)方案：

一方面，本發(fā)明提供一種數(shù)據(jù)選擇方法，具體包括：

獲得候選樣本集合，所述候選樣本集合包括屬于不同類(lèi)別的多個(gè)候選樣本；

根據(jù)屬于同一類(lèi)別的候選樣本，計(jì)算所述類(lèi)別的不確定度；

根據(jù)不同類(lèi)別的不確定度，計(jì)算所述候選樣本集合的類(lèi)別不確定分布；

根據(jù)所述候選樣本集合的類(lèi)別不確定分布，選擇第一類(lèi)別中的第一候選樣本進(jìn)入樣本池。

優(yōu)選的，所述選擇第一類(lèi)別中的第一候選樣本進(jìn)入樣本池，包括：

如果所述第一類(lèi)別為所述樣本池中沒(méi)有的類(lèi)別，則在所述第一類(lèi)別的候選樣本中，選擇樣本不確定度最大的候選樣本，作為第一候選樣本；

如果所述第一類(lèi)別為所述樣本池中已有的類(lèi)別，則在所述樣本池中獲得屬于所述第一類(lèi)別的第二樣本，選擇與所述第二樣本相關(guān)性均值最小的候選樣本，作為第一候選樣本。

優(yōu)選的，所述方法還包括：

計(jì)算所述第一類(lèi)別的候選樣本之間的相關(guān)性矩陣，所述相關(guān)性矩陣用于計(jì)算候選樣本之間的相關(guān)性。

優(yōu)選的，所述樣本不確定度通過(guò)如下方式計(jì)算：

基于文本特征的距離度量方法預(yù)測(cè)第三樣本屬于第一類(lèi)別的信息熵；

和/或，基于機(jī)器學(xué)習(xí)模型的方法預(yù)測(cè)第三樣本屬于第一類(lèi)別的信息熵；

和/或，基于預(yù)訓(xùn)練模型的方法預(yù)測(cè)第三樣本屬于第一類(lèi)別的信息熵；

根據(jù)所述第三樣本屬于第一類(lèi)別的信息熵確定所述第三樣本的樣本不確定度。

優(yōu)選的，所述方法還包括：