[發(fā)明專利]混合生成式和判別式學(xué)習(xí)模型的圖像語義標(biāo)注方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410295467.3
• 申請(qǐng)日: 2014-06-26
• 公開（公告）號(hào): CN104036021A
• 公開（公告）日: 2014-09-10
• 發(fā)明（設(shè)計(jì)）人: 李志欣;張燦龍;吳璟莉;王金艷
• 申請(qǐng)（專利權(quán)）人: 廣西師范大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 桂林市持衡專利商標(biāo)事務(wù)所有限公司 45107
• 代理人: 陳躍琳

技術(shù)領(lǐng)域

本發(fā)明涉及圖像檢索領(lǐng)域，具體涉及一種混合生成式和判別式學(xué)習(xí)模型的圖像語義標(biāo)注方法。

背景技術(shù)

根據(jù)所使用機(jī)器學(xué)習(xí)方法的特點(diǎn)，現(xiàn)有的圖像自動(dòng)標(biāo)注方法大致可分為基于生成式模型(generative?model)的標(biāo)注方法和基于判別式模型(discriminative?model)的標(biāo)注方法。

基于生成式模型的標(biāo)注方法的特點(diǎn)是：先學(xué)習(xí)圖像特征和關(guān)鍵詞的聯(lián)合概率，然后通過貝葉斯公式計(jì)算給定圖像特征時(shí)各個(gè)關(guān)鍵詞的后驗(yàn)概率，并依據(jù)后驗(yàn)概率進(jìn)行圖像標(biāo)注。這類方法具有可擴(kuò)展的訓(xùn)練過程，對(duì)訓(xùn)練圖像集人工標(biāo)注的質(zhì)量要求較低。

基于判別式模型的標(biāo)注方法的特點(diǎn)是：假設(shè)圖形特征到關(guān)鍵詞之間的映射是某種參數(shù)化的函數(shù)，直接在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)此函數(shù)的參數(shù)，并獲得各個(gè)語義概念的分類器。這類方法將各個(gè)語義概念視為獨(dú)立的類別，一般來說能取得較高的標(biāo)注精度，但是不便于利用領(lǐng)域相關(guān)的先驗(yàn)知識(shí)。

基于生成式模型的方法和基于判別式模型的方法的概率圖模型分別如圖1中(a)和(b)所示，二者相比較主要有以下幾點(diǎn)不同：(1)基于判別式模型的方法將圖像看作訓(xùn)練數(shù)據(jù)，各個(gè)語義概念看作類別，目的在于將圖像分類到各個(gè)語義類別中，而基于生成式模型的方法將圖像和文本都視為訓(xùn)練數(shù)據(jù)，其目的是學(xué)習(xí)圖像與文本之間的關(guān)聯(lián)；(2)基于判別式模型的方法為每個(gè)語義概念訓(xùn)練一個(gè)分類器，基于生成式模型的方法只學(xué)習(xí)一個(gè)關(guān)聯(lián)模型并將該模型應(yīng)用于所有的語義概念；(3)獨(dú)立性假設(shè)不同。基于判別式模型的方法假設(shè)各個(gè)語義類別之間是相互獨(dú)立的，而基于生成式模型的方法假設(shè)在給定隱藏變量的條件下，視覺元素和文本元素是條件獨(dú)立的。

綜上所述，生成式模型和判別式模型各有其優(yōu)勢(shì)和缺陷。

發(fā)明內(nèi)容

本發(fā)明針對(duì)圖像檢索中存在的“語義鴻溝”問題及生成式模型和判別式模型的缺陷，提供一種混合生成式和判別式學(xué)習(xí)模型的圖像語義標(biāo)注方法，其在連續(xù)概率潛在語義分析和多標(biāo)記學(xué)習(xí)的基礎(chǔ)上提出混合生成式和判別式學(xué)習(xí)的圖像自動(dòng)標(biāo)注模型HGDM(hybrid?generative/discriminative?model)，并進(jìn)一步實(shí)現(xiàn)了基于關(guān)鍵詞的圖像語義檢索。

為解決上述問題，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：

混合生成式和判別式學(xué)習(xí)模型的圖像語義標(biāo)注方法，包括如下步驟：

(1)對(duì)訓(xùn)練圖像進(jìn)行訓(xùn)練的過程，即

(1.1)采用連續(xù)概率潛在語義分析(PLSA)方法建模訓(xùn)練圖像的視覺特征，得到給定主題z_k下的高斯分布參數(shù)μ_k和Σ_k，以及每幅訓(xùn)練圖像的主題向量P(z_k/d_i)；

(1.2)利用每幅訓(xùn)練圖像的主題向量P(z_k/d_i)和原始語義標(biāo)注，采用多標(biāo)記學(xué)習(xí)方法構(gòu)造分類器鏈；

(2)對(duì)測(cè)試圖像進(jìn)行標(biāo)注的過程，即

(2.1)利用步驟(1.1)得到的高斯分布參數(shù)μ_k和Σ_k，以及測(cè)試圖像的視覺特征，采用期望最大化(Expectation?Maximization，EM)方法計(jì)算每幅測(cè)試圖像的主題向量P(z_k/d_new)；

(2.2)利用步驟(1.2)得到的分類器鏈，對(duì)該主題向量P(z_k/d_new)進(jìn)行測(cè)試圖像的語義分類；

(2.3)將置信度最高的X個(gè)語義類別作為該測(cè)試圖像的語義標(biāo)注；其中參數(shù)X為人為預(yù)設(shè)值。

步驟(1.2)即分類器鏈的構(gòu)造過程，即分類器鏈的訓(xùn)練過程具體為：按照指定的標(biāo)記順序，每次循環(huán)學(xué)習(xí)關(guān)聯(lián)一個(gè)語義關(guān)鍵詞標(biāo)記的二值分類器，且每次循環(huán)都要加上已學(xué)習(xí)的二值分類器對(duì)應(yīng)的語義關(guān)鍵詞標(biāo)記信息，由此構(gòu)造一個(gè)二值分類器鏈；其中該二值分類器鏈上的每一個(gè)二值分類器C_j負(fù)責(zé)與語義關(guān)鍵詞標(biāo)記l_j相關(guān)的學(xué)習(xí)和預(yù)測(cè)。上述j＝1，2，……/L/，/L/是語義關(guān)鍵詞的個(gè)數(shù)。