[發(fā)明專利]基于跨媒體稀疏主題編碼的圖像自動(dòng)標(biāo)注方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711242488.9
• 申請(qǐng)日: 2017-11-30
• 公開（公告）號(hào): CN107943985A
• 公開（公告）日: 2018-04-20
• 發(fā)明（設(shè)計(jì)）人: 劉均;宋凌云;羅敏楠;楊寬;張玲玲;阮建飛
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06K9/62;H03M7/30
• 代理公司: 西安通大專利代理有限責(zé)任公司61200
• 代理人: 徐文權(quán)

1.基于跨媒體稀疏主題編碼的圖像自動(dòng)標(biāo)注方法，其特征在于：包括以下步驟：

步驟1、多媒體文檔的定義及表示：多媒體文檔由一張圖像和注釋詞組成，由圖像生成圖像詞，并利用詞袋模型將多媒體文檔中的注釋詞表示成向量，得到處理后的多媒體文檔；

步驟2、跨媒體稀疏主題編碼模型構(gòu)建：根據(jù)處理后的多媒體文檔和概率主題模型，獲得圖像跨媒體稀疏主題編碼模型；

步驟3、利用最大后驗(yàn)概率估計(jì)方法，獲得多媒體文檔中圖像詞、注釋詞和兩者的關(guān)系編碼變量的聯(lián)合分布式，并采用拉普拉斯先驗(yàn)和超高斯對(duì)聯(lián)合分布式中的圖像詞編碼S、多媒體文檔編碼θ以及關(guān)系編碼Y進(jìn)行建模；

步驟4、使用坐標(biāo)下降法對(duì)提出的跨媒體稀疏主題編碼模型進(jìn)行優(yōu)化求解，之后計(jì)算圖像編碼和注釋詞編碼之間的余弦相似度進(jìn)行圖像標(biāo)注。

2.根據(jù)權(quán)利要求1所述的基于跨媒體稀疏主題編碼的圖像自動(dòng)標(biāo)注方法，其特征在于：步驟1中，把一個(gè)D維的多媒體文檔表示成語(yǔ)料庫(kù)(R^d,W^d)表示第d個(gè)多媒體文檔；

其中，I^d是在第d個(gè)多媒體文檔中出現(xiàn)的圖像詞的索引集合，r_i^d表示第i個(gè)圖像詞在第d個(gè)多媒體文檔中出現(xiàn)的次數(shù)；

J^d是指出現(xiàn)在第d個(gè)多媒體文檔中的注釋詞的索引集合，表示第j個(gè)注釋詞在第d個(gè)多媒體文檔中出現(xiàn)的次數(shù)；

語(yǔ)料庫(kù)中所有的圖像詞和注釋詞被表示成K個(gè)主題基的非歸一化分布向量，獲得圖像詞典和注釋詞詞典其中表示圖像詞典中第k行第m列的元素，φ_kn表示注釋詞詞典中第k行第n列的元素。

3.根據(jù)權(quán)利要求2所述的基于跨媒體稀疏主題編碼的圖像自動(dòng)標(biāo)注方法，其特征在于：步驟2中，首先分別從均勻分布上的和取樣初始化圖像詞典Ψ和注釋詞詞典Φ；假設(shè)每個(gè)圖像詞編碼i∈I^d由多媒體文檔編碼條件獨(dú)立地給出，每個(gè)圖像詞的出現(xiàn)次數(shù)r_i^d來(lái)自于平均參數(shù)為的分布；對(duì)于注釋詞j，得出關(guān)系編碼該編碼通過圖像詞編碼的線性組合來(lái)預(yù)測(cè)注釋詞編碼其中，同樣假設(shè)注釋詞出現(xiàn)次數(shù)遵循平均參數(shù)為的分布；對(duì)于第d個(gè)多媒體文檔(R^d,W^d)：

201、從p(θ^d)分布中抽樣，得到一個(gè)多媒體文檔編碼θ^d；

202、對(duì)多媒體文檔中的每一個(gè)圖像詞i∈I^d：

2021、從條件分布中抽樣得到該圖像詞編碼

2022、從條件分布中抽樣得到該圖像詞在多媒體文檔中出現(xiàn)的次數(shù)r_i^d；

203、對(duì)多媒體文檔中的每一個(gè)注釋詞j∈J^d：

2031、從分布中抽樣關(guān)系編碼然后用計(jì)算出注釋詞編碼；

2032、從分布中抽樣得到該注釋詞在文檔中出現(xiàn)的次數(shù)其中完成跨媒體稀疏主題編碼模型構(gòu)建；

Ψ_·i表示第i列的Ψ，Φ_·j表示第j列的Φ。