[發(fā)明專利]一種基于模型自適應(yīng)選擇的多分類(lèi)模型融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810876135.2
• 申請(qǐng)日: 2018-08-03
• 公開(kāi)（公告）號(hào): CN109086825A
• 公開(kāi)（公告）日: 2018-12-25
• 發(fā)明（設(shè)計(jì)）人: 高欣;刁新平;何楊;井瀟
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于模型自適應(yīng)選擇的多分類(lèi)模型融合方法，其特征在于，所述方法步驟包括：

(1)分別計(jì)算基分類(lèi)模型對(duì)每一類(lèi)樣本的分類(lèi)準(zhǔn)確率，對(duì)結(jié)果輸出為概率值的分類(lèi)模型，取其分類(lèi)結(jié)果的Top-N分類(lèi)標(biāo)簽集；

(2)根據(jù)各基分類(lèi)模型對(duì)每類(lèi)樣本的分類(lèi)準(zhǔn)確率最大值，設(shè)置各類(lèi)樣本的動(dòng)態(tài)準(zhǔn)確率閾值，并對(duì)各數(shù)據(jù)集樣本設(shè)置分類(lèi)結(jié)果融合標(biāo)記；

(3)根據(jù)樣本的融合標(biāo)記，對(duì)每一個(gè)樣本自適應(yīng)選擇參與融合的基分類(lèi)模型，結(jié)合基分類(lèi)模型的Top-N分類(lèi)標(biāo)簽集，實(shí)現(xiàn)基分類(lèi)模型融合。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，分別計(jì)算基分類(lèi)模型對(duì)每一類(lèi)樣本的分類(lèi)準(zhǔn)確率，對(duì)于結(jié)果輸出為概率值的分類(lèi)模型，取其分類(lèi)結(jié)果的Top-N分類(lèi)標(biāo)簽集，具體說(shuō)明如下：基分類(lèi)模型個(gè)數(shù)為2，樣本類(lèi)別數(shù)為M，訓(xùn)練集樣本數(shù)量為n，x為樣本特征向量集，x＝[x₁ x₂ … x_n]，x_i表示第i個(gè)樣本的特征向量，i＝1,2,…,n，第k個(gè)基分類(lèi)模型學(xué)習(xí)到的模型為f_k(x)；若分類(lèi)模型k的輸出結(jié)果為樣本屬于各類(lèi)別的后驗(yàn)概率，則f_k(x_i)表示模型對(duì)第i個(gè)樣本分類(lèi)結(jié)果中概率的最大值對(duì)應(yīng)的樣本類(lèi)別標(biāo)簽，即其Top-1分類(lèi)標(biāo)簽；若分類(lèi)模型k的輸出為樣本的預(yù)測(cè)類(lèi)標(biāo)簽，則f_k(x_i)表示分類(lèi)模型k對(duì)第i個(gè)樣本的分類(lèi)標(biāo)簽；a_k,j表示第k個(gè)基分類(lèi)模型的輸出結(jié)果中，分類(lèi)標(biāo)簽為第j類(lèi)的樣本預(yù)測(cè)準(zhǔn)確率；用于計(jì)算基分類(lèi)模型對(duì)于每一類(lèi)樣本的分類(lèi)準(zhǔn)確率的表達(dá)式為

其中，I為指示函數(shù)，I(j＝f_k(x_i),y_i＝f_k(x_i))表示當(dāng)j＝f_k(x_i)且y_i＝f_k(x_i)成立時(shí)值為1，否則為0，用于判斷樣本是否被正確分類(lèi)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)基分類(lèi)模型對(duì)每一個(gè)樣本類(lèi)的分類(lèi)準(zhǔn)確率，分別設(shè)置各類(lèi)樣本的動(dòng)態(tài)準(zhǔn)確率閾值，并對(duì)各數(shù)據(jù)集樣本設(shè)置分類(lèi)結(jié)果融合標(biāo)記，具體說(shuō)明如下：根據(jù)基分類(lèi)模型分類(lèi)結(jié)果對(duì)各類(lèi)別的準(zhǔn)確率，計(jì)算各類(lèi)樣本準(zhǔn)確率閾值σ_j：

σ_j＝λ·max(a_1,j,a_2,j),j＝1,2,…,M

其中，σ_j表示第j類(lèi)樣本的準(zhǔn)確率閾值，λ為閾值系數(shù)，且滿足λ∈[0,1]；

對(duì)分類(lèi)模型預(yù)測(cè)結(jié)果中的各類(lèi)別樣本分別設(shè)置融合標(biāo)記δ_j：

其中，δ_j表示第j類(lèi)樣本的融合標(biāo)記；δ_j＝1表示分類(lèi)標(biāo)簽為第j類(lèi)的樣本，分類(lèi)模型1的準(zhǔn)確率明顯高于分類(lèi)模型2，其模型融合后的分類(lèi)結(jié)果取分類(lèi)模型1的分類(lèi)結(jié)果；δ_j＝2表示預(yù)測(cè)為第j類(lèi)的樣本模型融合后輸出結(jié)果取分類(lèi)模型2的分類(lèi)結(jié)果；δ_j＝0表示對(duì)于預(yù)測(cè)結(jié)果標(biāo)簽為第j類(lèi)的樣本，基分類(lèi)模型之間的分類(lèi)準(zhǔn)確率沒(méi)有明顯差別，需要將基分類(lèi)模型的結(jié)果進(jìn)一步判斷以確定最終模型融合后的輸出；

結(jié)合基分類(lèi)模型的分類(lèi)結(jié)果及其結(jié)果中各類(lèi)樣本的融合標(biāo)記，進(jìn)而可得數(shù)據(jù)集各個(gè)樣本的融合標(biāo)記ε_i：

ε_i＝δ_j

s.t.f₁(x_i)＝j(luò)

其中，ε_i表示第i個(gè)樣本的融合標(biāo)記，δ_j表示第j類(lèi)樣本的融合標(biāo)記，f₁(x_i)為基分類(lèi)模型1對(duì)第i個(gè)樣本的分類(lèi)結(jié)果，且有i＝1,2,…,n，j＝1,2,…,M；

即得數(shù)據(jù)集各樣本的模型融合標(biāo)記Θ：

Θ＝[ε₁ ε₂ … ε_i … ε_n]。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)各基分類(lèi)模型對(duì)每類(lèi)樣本的分類(lèi)準(zhǔn)確率最大值，設(shè)置各類(lèi)樣本的動(dòng)態(tài)準(zhǔn)確率閾值，并對(duì)各數(shù)據(jù)集樣本設(shè)置分類(lèi)結(jié)果融合標(biāo)記，具體說(shuō)明為：假定分類(lèi)模型1的輸出結(jié)果為將樣本分為各樣本類(lèi)的概率，由分類(lèi)模型1輸出的樣本分別屬于各類(lèi)的概率大小，得分類(lèi)模型1對(duì)該樣本的分類(lèi)結(jié)果中后驗(yàn)概率較大的前N個(gè)分類(lèi)標(biāo)簽集合Top-N；假定表示第k個(gè)分類(lèi)模型輸出的第i個(gè)樣本的Top-N集合中，按后驗(yàn)概率由大到小的第j個(gè)分類(lèi)標(biāo)簽，則有：

其中，n為數(shù)據(jù)集樣本數(shù)量；

假定分類(lèi)模型2學(xué)習(xí)到的模型為f₂(x)，其學(xué)習(xí)結(jié)果中對(duì)各樣本的分類(lèi)標(biāo)簽為f₂(x_i)；得分類(lèi)模型2對(duì)數(shù)據(jù)集的分類(lèi)結(jié)果F₂(x)為：

F₂(x)＝[f₂(x₁) f₂(x₂) … f₂(x_i) … f₂(x_n)]

假定分類(lèi)模型融合后，樣本的分類(lèi)結(jié)果輸出為p(x_i)，由樣本的融合標(biāo)記可得：

其中，f₁(x_i)＝f₁¹(x_i)，表示分類(lèi)模型1結(jié)果中特征樣本x_i所屬類(lèi)別后驗(yàn)概率最大值所對(duì)應(yīng)的類(lèi)別標(biāo)簽；p_f(x_i)表示融合標(biāo)記ε_i＝0的樣本融合后的輸出標(biāo)簽：

s.t.ε_i＝0,i＝1,2,…,n

其中，Top-N_i表示特征樣本x_i對(duì)應(yīng)的Top-N集合中的分類(lèi)標(biāo)簽集：

Top-N_i＝[f₁¹(x_i) f₁²(x_i) … f₁^j(x_i) … f₁^N(x_i)]

可得數(shù)據(jù)集樣本在基分類(lèi)模型學(xué)習(xí)后，利用基于Top-N分類(lèi)標(biāo)簽集的模型融合方法融合之后，可以確定最終輸出的分類(lèi)標(biāo)簽P(x)：

P(x)＝[p(x₁) p(x₂) … p(x_i) … p(x_n)]。