[發(fā)明專利]一種數(shù)據(jù)樣本標(biāo)簽處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201711160012.0
• 申請日: 2017-11-20
• 公開（公告）號: CN108021931A
• 公開（公告）日: 2018-05-11
• 發(fā)明（設(shè)計(jì)）人: 陳凡;齊翔;王德勝;王韓彬;郭棋林
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

公開了一種數(shù)據(jù)樣本標(biāo)簽處理方法及裝置。一種數(shù)據(jù)樣本標(biāo)簽處理方法包括：獲得不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集；利用以下步驟進(jìn)行迭代處理，直到學(xué)習(xí)標(biāo)簽的準(zhǔn)確率達(dá)到預(yù)設(shè)的要求：對當(dāng)前的不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集進(jìn)行合并，訓(xùn)練得到預(yù)測模型；將不確定標(biāo)簽樣本輸入預(yù)測模型，將模型輸出的預(yù)測值確定為不確定標(biāo)簽樣本的學(xué)習(xí)標(biāo)簽；獲得帶有學(xué)習(xí)標(biāo)簽的抽樣子集，對抽樣子集的學(xué)習(xí)標(biāo)簽進(jìn)行校驗(yàn)以獲得學(xué)習(xí)標(biāo)簽的準(zhǔn)確率，如果學(xué)習(xí)標(biāo)簽的準(zhǔn)確率未達(dá)到預(yù)設(shè)的要求，則將標(biāo)簽校驗(yàn)結(jié)果確定為抽樣子集的標(biāo)注結(jié)果，并將抽樣子集從不確定標(biāo)簽樣本集移至已確定標(biāo)簽樣本集；迭代結(jié)束后，將不確定標(biāo)簽樣本當(dāng)前的學(xué)習(xí)標(biāo)簽確定為標(biāo)注結(jié)果。

技術(shù)領(lǐng)域

本說明書實(shí)施例涉及數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)樣本標(biāo)簽處理方法及裝置。

背景技術(shù)

在機(jī)器學(xué)習(xí)領(lǐng)域，利用大量的數(shù)據(jù)樣本進(jìn)行訓(xùn)練，可以獲得各種形式的數(shù)據(jù)模型以解決實(shí)際問題。機(jī)器學(xué)習(xí)可分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，其中監(jiān)督學(xué)習(xí)是利用一組已知類別的數(shù)據(jù)樣本來調(diào)整預(yù)測模型的參數(shù)、使其達(dá)到性能要求的過程。監(jiān)督學(xué)習(xí)使用的訓(xùn)練樣本均為已標(biāo)記樣本，即每條樣本同時包含“特征值”和“標(biāo)簽值”。

有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)分別可以適用于一定的需求場景，然而在實(shí)際應(yīng)用中，經(jīng)常會遇到需要采用有監(jiān)督學(xué)習(xí)解決問題、但是數(shù)據(jù)樣本標(biāo)簽不準(zhǔn)確甚至無標(biāo)簽的情況。理論上雖然可以采用人工的方式對分別對每條數(shù)據(jù)樣本的標(biāo)簽進(jìn)行糾正或重新標(biāo)注，然而在大數(shù)據(jù)的應(yīng)用場景下，這種純?nèi)斯さ奶幚矸绞绞遣滑F(xiàn)實(shí)的。因此，如何對不確定標(biāo)簽樣本實(shí)現(xiàn)高效、準(zhǔn)確的標(biāo)注，已經(jīng)成為行業(yè)內(nèi)備受關(guān)注的問題。

發(fā)明內(nèi)容

針對上述技術(shù)問題，本說明書實(shí)施例提供一種數(shù)據(jù)樣本標(biāo)簽處理方法及裝置，技術(shù)方案如下：

根據(jù)本說明書實(shí)施例的第一方面，提供一種數(shù)據(jù)樣本標(biāo)簽處理方法，該方法包括：

獲得不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集；利用以下步驟進(jìn)行迭代處理，直到學(xué)習(xí)標(biāo)簽的準(zhǔn)確率達(dá)到預(yù)設(shè)的要求：

對當(dāng)前的不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集進(jìn)行合并，利用合并后的樣本訓(xùn)練得到預(yù)測模型；

將不確定標(biāo)簽樣本集中的不確定標(biāo)簽樣本輸入預(yù)測模型，將模型輸出的預(yù)測值確定為不確定標(biāo)簽樣本的學(xué)習(xí)標(biāo)簽；

根據(jù)當(dāng)前的不確定標(biāo)簽樣本集，獲得帶有學(xué)習(xí)標(biāo)簽的抽樣子集，對抽樣子集的學(xué)習(xí)標(biāo)簽進(jìn)行校驗(yàn)以獲得學(xué)習(xí)標(biāo)簽的準(zhǔn)確率，如果學(xué)習(xí)標(biāo)簽的準(zhǔn)確率未達(dá)到預(yù)設(shè)的要求，則將標(biāo)簽校驗(yàn)結(jié)果確定為抽樣子集的標(biāo)注結(jié)果，并將抽樣子集從不確定標(biāo)簽樣本集移至已確定標(biāo)簽樣本集；

迭代結(jié)束后，將不確定標(biāo)簽樣本當(dāng)前的學(xué)習(xí)標(biāo)簽確定為標(biāo)注結(jié)果。

根據(jù)本說明書實(shí)施例的第二方面，提供一種數(shù)據(jù)模型訓(xùn)練方法，該方法包括：

獲得不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集；利用以下步驟進(jìn)行迭代處理，直到學(xué)習(xí)標(biāo)簽的準(zhǔn)確率達(dá)到預(yù)設(shè)的要求：

對當(dāng)前的不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集進(jìn)行合并，利用合并后的樣本訓(xùn)練得到預(yù)測模型；

將所述不確定標(biāo)簽樣本集中的不確定標(biāo)簽樣本輸入所述預(yù)測模型，將模型輸出的預(yù)測值確定為不確定標(biāo)簽樣本的學(xué)習(xí)標(biāo)簽；

對帶有學(xué)習(xí)標(biāo)簽的不確定標(biāo)簽樣本集進(jìn)行抽樣得到抽樣子集，對抽樣子集的學(xué)習(xí)標(biāo)簽進(jìn)行校驗(yàn)以獲得學(xué)習(xí)標(biāo)簽的準(zhǔn)確率，如果學(xué)習(xí)標(biāo)簽的準(zhǔn)確率未達(dá)到預(yù)設(shè)的要求，則將標(biāo)簽校驗(yàn)結(jié)果確定為抽樣子集的標(biāo)注結(jié)果，并將抽樣子集從不確定標(biāo)簽樣本集移動至已確定標(biāo)簽樣本集；

迭代結(jié)束后，將當(dāng)前的預(yù)測模型確定為適用于所述不確定標(biāo)簽樣本集的預(yù)測模型。

根據(jù)本說明書實(shí)施例的第三方面，提供一種數(shù)據(jù)樣本標(biāo)簽處理裝置，該裝置包括：

輸入模塊，用于獲得不確定標(biāo)簽樣本集和已確定標(biāo)簽樣本集；