[發明專利]一種基于半監督主題建模的圖像標注方法

有效

• 申請號: 201210050398.0
• 申請日: 2012-02-29
• 公開（公告）號: CN102637199A
• 公開（公告）日: 2012-08-15
• 發明（設計）人: 何曉飛;卜佳俊;陳純;倪雅博
• 申請（專利權）人: 浙江大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;黃美娟

1.一種基于半監督主題建模的圖像標注方法，其特征在于：

1)從互聯網上得到圖像，包括已有文本標注的圖像，以及未標注圖像；

2)利用一種類似于概率潛在語義分析的模型，對所有圖像的視覺特征和文本標注之間的聯系通過潛在主題進行建模；

3)構建所有圖像的最近鄰圖，并根據由最近鄰圖進行建模得到的流形結構對步驟2)的模型進行調整；

4)通過期望最大化算法學習步驟2)的模型，并分別計算各個潛在主題與圖像匹配的概率；

5)根據潛在主題匹配圖像的概率計算每個文本標注匹配未標注圖像的概率，并選擇概率最高的文本標注對未標注圖像進行標注。

2.根據權利要求1所述的一種半監督下的基于主題建模的圖像標注的方法，其特征在于：步驟2)中的建模過程是按照如下方式進行的：對于每個圖像i，首先用向量F_i表示圖像視覺特征，向量W_i來表示圖像文本標注，其中F_i＝{f₁，…，f_n}，其中f_u表示第u個視覺特征單詞在第i個圖片中出現的次數；W_i＝{w₁，…，w_n}，其中w_v表示第v個文本標注單詞在第i個圖片中出現的次數。

并假設f_i(其中i＝1，…，n)服從多項式分布w_i(其中i＝1，…，n)服從多項式分布未標注圖像W_i＝0；然后用多項分布α建模圖像與潛在主題Z_i的關系，

最后得到所有圖像與潛在主題的匹配概率的對數似然為L，L的計算公式如下：

其中，I為圖像總數，K為潛在主題總數，P(z_k|α)表示在α分布下潛在主題z_k與第i個圖像匹配的概率，U為視覺特征單詞總數，P(f_u|z_k，β)表示在β分布下視覺特征f_u與潛在主題z_k匹配的概率，V為圖像文本特征單詞總數，表示在分布下文本標注w_v與潛在主題z_k匹配的概率。

3.根據權利要求1所述的一種半監督下的基于主題建模的圖像標注的方法，其特征在于：步驟3)中的最近鄰圖的構造方法為，所有圖像構成最近鄰圖的點，若圖像i與圖像j的文本標注和視覺特征的重合度達到某個閥值，則在最近鄰圖中創建一條連接圖像i與圖像j的邊。

4.根據權利要求1所述的一種半監督下的基于主題建模的圖像標注的方法，其特征在于：步驟4)中使用期望最大化算法計算學習步驟2)的模型，并分別計算各個潛在主題與圖像匹配的概率，以及三個多項式分布α，β，Φ。

5.根據權利要求1所述的一種半監督下的基于主題建模的圖像標注的方法，其特征在于：步驟5)中利用步驟4)所得到的結果，從而獲得文本標注匹配未標注圖像的概率，并選取概率最大的文本標注對未標注圖像進行標注，文本標注匹配未標注圖像的概率P(w_v)的計算公式如下：

其中，K為潛在主題總數，p_ki為步驟4)所得到的潛在主題與圖像匹配的概率，表示在分布下文本標注w_v與潛在主題z_k匹配的概率。