[發(fā)明專利]一種基于熵的多標(biāo)簽數(shù)據(jù)分類方法

在審

• 申請?zhí)枺?/td>: 202010096523.6
• 申請日: 2020-02-17
• 公開（公告）號: CN111325264A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 杜博;陳玉坤
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/10
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明公開了一種基于熵的多標(biāo)簽數(shù)據(jù)分類方法，包括訓(xùn)練階段和測試階段。訓(xùn)練階段包括數(shù)據(jù)樣本的選取、構(gòu)建訓(xùn)練集、構(gòu)建標(biāo)簽集、分類器構(gòu)建及參數(shù)分析。選取合適的數(shù)據(jù)樣本，將樣本按照4:1的比例分為訓(xùn)練集與測試集，計(jì)算訓(xùn)練集樣本中各個(gè)標(biāo)簽的熵值，通過對標(biāo)簽熵值的排序來選取出合適的標(biāo)簽集，進(jìn)行參數(shù)分析，得出最優(yōu)的標(biāo)簽子集數(shù)和投票閾值，基于Label Powerset分類器進(jìn)行訓(xùn)練。在測試階段，以測試集中樣本為輸入，經(jīng)過訓(xùn)練好的分類器進(jìn)行預(yù)測，并對預(yù)測結(jié)果進(jìn)行評價(jià)，從而獲得多標(biāo)簽數(shù)據(jù)分類結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)多標(biāo)簽分類領(lǐng)域，尤其涉及一種基于熵的多標(biāo)簽數(shù)據(jù)分類方法。

背景技術(shù)

在機(jī)器學(xué)習(xí)領(lǐng)域，傳統(tǒng)監(jiān)督學(xué)習(xí)是研究得最多、應(yīng)用最廣泛的一種學(xué)習(xí)框架。在該框架下，對于真實(shí)世界的每一個(gè)對象，學(xué)習(xí)系統(tǒng)利用某種學(xué)習(xí)算法學(xué)得輸入空間與輸出空間之間的一個(gè)映射，基于該映射可以預(yù)測未見示例的類別標(biāo)簽,在待學(xué)習(xí)對象具有明確、單一的語義，即對象的類別標(biāo)簽唯一時(shí)，傳統(tǒng)監(jiān)督學(xué)習(xí)框架已經(jīng)取得了巨大的成功。

然而，真實(shí)世界的對象往往并不只具有唯一的語義，而是可能具有多義性的。隨著科學(xué)技術(shù)的不斷提高，數(shù)據(jù)各式各樣的表現(xiàn)形式也在不斷豐富，樣本單一類別標(biāo)簽的假設(shè)己經(jīng)難以準(zhǔn)確描述現(xiàn)實(shí)對象的語義信息。由于客觀物體本身的復(fù)雜性和多義性，現(xiàn)實(shí)生活中的很多對象可能同時(shí)與多個(gè)類別標(biāo)簽相關(guān)。為了直觀地反映多義性對象所具有的多種語義信息，一種很自然的方式就是為該對象顯式地賦予一組合適的類別標(biāo)簽，即標(biāo)簽子集。基于上述考慮，多標(biāo)簽學(xué)習(xí)框架由此應(yīng)運(yùn)而生。在該框架下，每個(gè)對象由一個(gè)示例描述，該示例具有多個(gè)而不再是唯一的類別標(biāo)簽，學(xué)習(xí)的目標(biāo)是將所有合適的類別標(biāo)簽賦予未知示例。

針對多標(biāo)簽分類問題，國內(nèi)外學(xué)者提出了很多方法。現(xiàn)有的多標(biāo)簽學(xué)習(xí)方法可以被分為以下兩大類，第一類是“問題轉(zhuǎn)換”方法，第二類是“算法適應(yīng)”方法。對于“問題轉(zhuǎn)換”方法，其策略是將多標(biāo)簽分類問題轉(zhuǎn)換成一系列單標(biāo)簽分類問題，從而可以更加方便地應(yīng)用現(xiàn)有的單標(biāo)簽學(xué)習(xí)算法來解決問題。對于“算法適應(yīng)”方法，其策略是將目前的單標(biāo)簽學(xué)習(xí)算法進(jìn)行改進(jìn)和擴(kuò)展，使其能用到多標(biāo)簽分類任務(wù)中。

問題轉(zhuǎn)化方法通常將多標(biāo)簽分類問題轉(zhuǎn)化為已知的其他學(xué)習(xí)問題，例如單標(biāo)簽分類問題和標(biāo)簽排序問題等。考慮到單標(biāo)簽分類問題是多標(biāo)簽分類的特例以及針對單標(biāo)簽分類已有很多高效準(zhǔn)確的算法，因此“問題轉(zhuǎn)換”方法在研究過程中很自然地將多標(biāo)簽分類轉(zhuǎn)換成不同類型的單標(biāo)簽分類問題，“算法適應(yīng)”方法則是改編其他一些己知的學(xué)習(xí)算法來直接處理多標(biāo)簽分類問題。

除了二分類問題外，多分類問題同樣是許多研究者在設(shè)計(jì)多標(biāo)簽分類算法時(shí)考慮轉(zhuǎn)化的對象。LP(Label Powerset)方法首先將訓(xùn)練集中各個(gè)樣本所對應(yīng)的所有不同標(biāo)簽子集變換成一系列不同的類別值。其中每個(gè)唯一的標(biāo)簽子集都對應(yīng)一個(gè)類別，并通過訓(xùn)練多類分類器對未知樣本進(jìn)行分類，然后把該多分類器輸出的類別所對應(yīng)的標(biāo)簽子集作為該樣本最終的預(yù)測結(jié)果。但是對于一個(gè)包含q個(gè)標(biāo)簽的數(shù)據(jù)集來說，其標(biāo)簽子集的數(shù)目最多可達(dá)到2^q-1，因此實(shí)際數(shù)據(jù)集中很多標(biāo)記子集所對應(yīng)的樣本數(shù)目都非常少，很可能導(dǎo)致不平衡分類問題，從而影響最終的分類泛化性能，并且方法也無法預(yù)測那些訓(xùn)練集中沒有出現(xiàn)過的標(biāo)簽子集。為了克服這些不足，RAKEL(Random K-labelsets)算法隨后被提出。它的主要思想是：通過集成學(xué)習(xí)的框架建立一系列多類分類器，其中每個(gè)多分類器都是從標(biāo)簽集合的所有標(biāo)簽子集中隨機(jī)選擇個(gè)子集，然后通過方法構(gòu)造，最終通過投票法來預(yù)測未知樣本的相關(guān)標(biāo)簽子集。RAKEL方法基于上述思想，克服了LP方法存在的不足，但也帶來了一些其他的缺點(diǎn)，隨機(jī)選擇的標(biāo)簽集可能導(dǎo)致單標(biāo)簽多類學(xué)習(xí)的數(shù)據(jù)分布不均衡，同一標(biāo)簽集中不同標(biāo)簽之間的依賴關(guān)系也可能導(dǎo)致嚴(yán)重的信息冗余和重疊。這兩種缺陷都會影響多標(biāo)簽學(xué)習(xí)的泛化能力。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種高準(zhǔn)確度的基于熵的多標(biāo)簽數(shù)據(jù)分類方法。

為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案，一種基于熵的多標(biāo)簽數(shù)據(jù)分類方法，包括如下步驟：