[發明專利]混合生成式和判別式學習模型的圖像語義標注方法

在審

• 申請號: 201410295467.3
• 申請日: 2014-06-26
• 公開（公告）號: CN104036021A
• 公開（公告）日: 2014-09-10
• 發明（設計）人: 李志欣;張燦龍;吳璟莉;王金艷
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

1.混合生成式和判別式學習模型的圖像語義標注方法，其特征是，包括如下步驟：

(1)對訓練圖像進行訓練的過程，即

(1.1)采用連續概率潛在語義分析方法建模訓練圖像的視覺特征，得到給定主題z_k下的高斯分布參數μ_k和Σ_k，以及每幅訓練圖像的主題向量P(z_k/d_i)；

(1.2)利用每幅訓練圖像的主題向量P(z_k/d_i)和原始語義標注，采用多標記學習方法構造分類器鏈；

(2)對測試圖像進行標注的過程，即

(2.1)利用步驟(1.1)得到的高斯分布參數μ_k和Σ_k，以及測試圖像的視覺特征，采用期望最大化(Expectation?Maximization，EM)方法計算每幅測試圖像的主題向量P(z_k/d_new)；

(2.2)利用步驟(1.2)得到的分類器鏈，對該主題向量P(z_k/d_new)進行測試圖像的語義分類；

(2.3)將置信度最高的X個語義類別作為該測試圖像的語義標注；其中參數X為人為預設值。

2.根據權利要求1所述的混合生成式和判別式學習模型的圖像語義標注方法，其特征是，步驟(1.2)具體為：按照指定的標記順序，每次循環學習關聯一個語義關鍵詞標記的二值分類器，且每次循環都要加上已學習的二值分類器對應的語義關鍵詞標記信息，由此構造一個二值分類器鏈；其中該二值分類器鏈上的每一個二值分類器C_j負責與語義關鍵詞標記l_j相關的學習和預測；上述j＝1，2，……/L/，/L/是語義關鍵詞的個數。

3.根據權利要求2所述的混合生成式和判別式學習模型的圖像語義標注方法，其特征是，步驟(2.2)具體為：將步驟(1.2)構造的二值分類器鏈，從二值分類器C₁開始，不斷地向后傳播，其中二值分類器C₁確定語義關鍵詞標記l₁的分類結果Pr(l₁|x)；再將這個分類結果Pr(l₁|x)以二值的方式加入到測試圖像的主題向量中，以此類推，后續的二值分類器C_j則確定標記l_j的分類結果Pr(l_j|x,l₁,l₂,…,l_j-1)，x為訓練圖像的主題向量；上述j＝1，2，……/L/，/L/是語義關鍵詞的個數。

4.根據權利要求1～3中任意一項所述的混合生成式和判別式學習模型的圖像語義標注方法，其特征是，步驟(1.1)和(2.1)中，還進一步包括對訓練圖像和測試圖像進行視覺特征提取的過程，即

首先，將每幅圖像劃分為(m×n)個規則方塊；

然后，為每個方塊提取一個(a+b)維的特征向量，這個(a+b)維的特征向量包含a維的顏色特征和b維的紋理特征；其中顏色特征是在量化顏色和街區距離上計算出的顏色自相關圖，而紋理特征是在尺度和方向上計算的伽柏(Gabor)能量系數；

最后，每幅圖像的視覺特征即為(m×n)個(a+b)維的視覺特征向量的集合；

其中參數m、n、a和b均為人為預設值。

5.根據權利要求4所述的混合生成式和判別式學習模型的圖像語義標注方法，其特征是，參數m和n均設為16，參數a設為24，參數b設為12；即每幅圖像均劃分為16×16個規則方塊，每個方塊提取一個36維的特征向量，這個36維的特征向量包含24維的顏色特征和12維的紋理特征。

6.根據權利要求1所述的混合生成式和判別式學習模型的圖像語義標注方法，其特征是，步驟(1.1)中，在連續概率潛在語義分析時，所設置的主題個數為180個。

7.根據權利要求1所述的混合生成式和判別式學習模型的圖像語義標注方法，其特征是，步驟(2.3)中，參數X設為5，即將置信度最高的5個語義類別作為該測試圖像的語義標注。