[發(fā)明專利]一種基于主動(dòng)學(xué)習(xí)的跨域視頻語義概念檢測(cè)方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201110056775.7
• 申請(qǐng)日: 2011-03-09
• 公開（公告）號(hào): CN102163285A
• 公開（公告）日: 2011-08-24
• 發(fā)明（設(shè)計(jì)）人: 李歡;李超;袁曉冬;熊璋
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京慧泉知識(shí)產(chǎn)權(quán)代理有限公司 11232
• 代理人: 王順榮;唐愛華

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于主動(dòng)學(xué)習(xí)的跨域視頻語義概念檢測(cè)方法，屬視頻內(nèi)容分析和語義概念檢測(cè)領(lǐng)域。

背景技術(shù)

視頻語義概念檢測(cè)是自動(dòng)檢測(cè)視頻中出現(xiàn)的語義概念，例如“汽車”，“人”和“樓”等。但是隨著海量視頻數(shù)據(jù)的增加，越來越多的視頻來自不同的領(lǐng)域，例如新聞視頻、網(wǎng)絡(luò)視頻和文檔類視頻等。由于相同的語義概念在不同領(lǐng)域的視頻的特征空間中分布不同，所以當(dāng)使用一個(gè)域的視頻數(shù)據(jù)作為訓(xùn)練集的語義概念分類器在另一個(gè)域的視頻數(shù)據(jù)上測(cè)試時(shí)，會(huì)得到很差的分類效果。簡(jiǎn)單的解決辦法是為每個(gè)新域的語義概念訓(xùn)練一個(gè)新的分類器，但是由于視頻中包含的語義概念眾多，視頻數(shù)據(jù)量巨大，對(duì)視頻數(shù)據(jù)進(jìn)行人工標(biāo)注和訓(xùn)練分類器都需要消耗很多人力和計(jì)算時(shí)間。所以現(xiàn)在的研究工作大部分集中在如何利用已全部標(biāo)注的原始域的數(shù)據(jù)以及未標(biāo)注的目標(biāo)域的數(shù)據(jù)，通過半監(jiān)督的機(jī)器學(xué)習(xí)方法，在盡可能少的對(duì)目標(biāo)域樣本進(jìn)行標(biāo)注的情況下，得到在目標(biāo)域數(shù)據(jù)上檢測(cè)率盡可能高的分類器。

機(jī)器學(xué)習(xí)中的主動(dòng)學(xué)習(xí)方法能夠主動(dòng)選擇對(duì)分類器信息量大的樣本進(jìn)行標(biāo)注，從而使分類器在使用較小訓(xùn)練集的情況下獲得較高的分類正確率。但是傳統(tǒng)的主動(dòng)學(xué)習(xí)方法假設(shè)測(cè)試集和訓(xùn)練集具有相同的數(shù)據(jù)分布，然而在跨域視頻語義概念檢測(cè)中新目標(biāo)域的視頻數(shù)據(jù)與原始域的數(shù)據(jù)在特征空間分布不同。在目標(biāo)域中選擇對(duì)將原始域數(shù)據(jù)作為訓(xùn)練集的分類器最有信息量的樣本進(jìn)行標(biāo)注，對(duì)新目標(biāo)域的預(yù)測(cè)沒有太大作用。

發(fā)明內(nèi)容

本發(fā)明克服現(xiàn)有技術(shù)的不足，提供一種基于主動(dòng)學(xué)習(xí)的跨域視頻語義概念檢測(cè)方法，該方法將高斯隨機(jī)場(chǎng)作為基準(zhǔn)分類器，將原始域和目標(biāo)域的數(shù)據(jù)用同一個(gè)無向圖表示。基于在特征空間距離越小的兩個(gè)樣本應(yīng)該具有盡可能相近的標(biāo)注這一原理，通過原始域數(shù)據(jù)的標(biāo)記以及兩數(shù)據(jù)域的樣本在特征空間的距離關(guān)系，預(yù)測(cè)出未標(biāo)注的目標(biāo)域樣本的標(biāo)注。然后采用主動(dòng)學(xué)習(xí)中的最不確定性選擇策略對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行標(biāo)記，并將其添加到已標(biāo)注數(shù)據(jù)集。因?yàn)槟康氖堑玫皆谀繕?biāo)域上性能較好的分類器，所以在基準(zhǔn)分類器中獲得新的目標(biāo)域樣本的標(biāo)記后，增加所有到這些樣本的邊的權(quán)重，使基準(zhǔn)分類器更快的自適應(yīng)到目標(biāo)域數(shù)據(jù)。同時(shí)提出一種快速的基準(zhǔn)模型更新算法，在每次批量加入新標(biāo)注的樣本時(shí)，降低模型更新的時(shí)間復(fù)雜度，提高了算法的適用性。

本發(fā)明的技術(shù)解決方案：一種基于主動(dòng)學(xué)習(xí)的跨域視頻語義概念檢測(cè)方法包括以下步驟：

(1)將高斯隨機(jī)場(chǎng)作為基準(zhǔn)分類器

(A)將原始域和目標(biāo)域的每個(gè)樣本點(diǎn)為一個(gè)頂點(diǎn)，將樣本點(diǎn)之間在特征空間的距離作為其邊的權(quán)重，構(gòu)造一個(gè)無向圖；

(B)通過最小化高斯隨機(jī)場(chǎng)的損失函數(shù)，得到無向圖中的沒有標(biāo)注的樣本點(diǎn)標(biāo)注的估計(jì)值，即對(duì)目標(biāo)域中的樣本的標(biāo)注進(jìn)行預(yù)測(cè)。因?yàn)楸景l(fā)明中視頻語義概念檢測(cè)是二分類問題，所以標(biāo)注預(yù)測(cè)值的范圍為0～1。

(2)采用主動(dòng)學(xué)習(xí)方法中的最不確定性查詢策略選擇未標(biāo)注樣本進(jìn)行標(biāo)注

(A)選擇未標(biāo)注數(shù)據(jù)集中預(yù)測(cè)的標(biāo)注值最不確定的樣本進(jìn)行標(biāo)注，即預(yù)測(cè)值最接近0.5的樣本，這類樣本點(diǎn)對(duì)基準(zhǔn)分類器具有最大信息量，獲得這些樣本的真實(shí)標(biāo)注；

(B)將新標(biāo)注的樣本從未標(biāo)注數(shù)據(jù)集中去除，將其加入已標(biāo)注數(shù)據(jù)集。

(3)更新基準(zhǔn)分類器

(A)對(duì)于所有連接到目標(biāo)域中新獲得標(biāo)注的樣本的邊重新設(shè)置權(quán)重，并將這些新獲得的標(biāo)注以及更新的權(quán)重加入到高斯隨機(jī)場(chǎng)中，即更新新加入標(biāo)注的樣本的權(quán)重值；

(B)根據(jù)更新后的高斯隨機(jī)場(chǎng)，對(duì)無向圖中的屬于目標(biāo)域的沒有標(biāo)注的樣本點(diǎn)的標(biāo)注進(jìn)行預(yù)測(cè)，即更新高斯隨機(jī)場(chǎng)模型；

(4)順次重復(fù)(2)步驟、(3)步驟，直到完成一定的循環(huán)次數(shù)。

其中，所述步驟(1)將高斯隨機(jī)場(chǎng)作為基準(zhǔn)分類器的方法如下：

首先，對(duì)于步驟(1)中(A)將原始域和目標(biāo)域中的每一個(gè)樣本點(diǎn)當(dāng)成圖中的一個(gè)頂點(diǎn)：提取每個(gè)樣本點(diǎn)的視覺特征，其中包括225維度的網(wǎng)格顏色矩特征，48維度的Gabor紋理特征以及73維度的邊緣方向直方圖特征，將這些特征串聯(lián)起來得到一個(gè)346維度的特征向量；

其次，對(duì)于步驟(1)中(A)將樣本點(diǎn)之間在特征空間的距離作為其邊的權(quán)重，構(gòu)造一個(gè)無向圖，其計(jì)算方法為其中w_ij表示兩個(gè)樣本點(diǎn)之間的距離，n是樣本視覺特征維度，x_id和x_jd分別為樣本i和j的第d維特征的值，σ是平滑函數(shù)。