[發(fā)明專利]一種視頻場(chǎng)景聚類及瀏覽方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310317750.7
• 申請(qǐng)日: 2013-07-26
• 公開（公告）號(hào): CN103440640A
• 公開（公告）日: 2013-12-11
• 發(fā)明（設(shè)計(jì)）人: 張磊;徐千昆;黃華
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種視頻場(chǎng)景聚類方法，該方法包括以下步驟：

步驟一、鏡頭邊界檢測(cè)與分割；

讀取視頻，檢測(cè)視頻中的切變和漸變鏡頭邊界，根據(jù)所得鏡頭邊界，將視頻分割為多個(gè)獨(dú)立的鏡頭；

步驟二、鏡頭關(guān)鍵幀提取

對(duì)于獨(dú)立的鏡頭，使用光流法檢測(cè)視頻內(nèi)容變化，當(dāng)視頻幀內(nèi)對(duì)象運(yùn)動(dòng)的距離達(dá)到一定閾值時(shí)，提取關(guān)鍵幀，得到代表鏡頭的關(guān)鍵幀集合，所述閾值為視頻幀長寬的百分比T_flow；

步驟三、鏡頭間相似度計(jì)算

對(duì)于鏡頭中提取的關(guān)鍵幀進(jìn)行SIFT特征點(diǎn)提取，在所有鏡頭的關(guān)鍵幀集合之間進(jìn)行關(guān)鍵幀的SIFT特征點(diǎn)匹配，根據(jù)匹配特征點(diǎn)數(shù)量定義鏡頭之間相似度，相似度定義如下：

Sa,b=-1/Σk=1NaΣh=1Nbc(mak,mbh)Na×Nb]]>

其中S_a,b是鏡頭a、b之間的相似度，N_a、N_b分別表示鏡頭a、b的關(guān)鍵幀集合中關(guān)鍵幀圖像的數(shù)量，是鏡頭a中第k個(gè)關(guān)鍵幀圖像，是鏡頭b的第h個(gè)關(guān)鍵幀圖像，是兩幅圖像之間SIFT特征點(diǎn)匹配的數(shù)量，若小于特定閾值T_num，則設(shè)置為0；

步驟四、鏡頭聚類

根據(jù)上一步獲得的鏡頭之間的相似度，使用信息傳遞聚類算法對(duì)鏡頭進(jìn)行聚類，得到若干聚類中心，根據(jù)每個(gè)鏡頭所屬的聚類中心不同，將所有鏡頭分為若干個(gè)鏡頭集合，每個(gè)集合屬于一個(gè)鏡頭類別；在信息傳遞聚類中鏡頭自身相似度定義為：

Sa,a=1NsΣa≠bSa,b]]>

N_s表示全部已有相似度的數(shù)量，即將鏡頭自身相似度S_a,a設(shè)置為全部非自身相似度的均值；

步驟五、場(chǎng)景聚類

根據(jù)鏡頭聚類結(jié)果，將在一定窗口T_win即連續(xù)T_win個(gè)鏡頭內(nèi)連續(xù)出現(xiàn)切換的鏡頭類別合并為一類，定義不同鏡頭類別之間的相似關(guān)系如下：

S(i，k)＝-1/f(i，k)

S(i,k)是鏡頭類別i,k之間的相似度，f(i,k)是鏡頭類別i,k之間的切換次數(shù)，令鏡頭類別自身相似度值為S₁，使用信息傳遞聚類算法對(duì)鏡頭類別進(jìn)行聚類，得到初步的場(chǎng)景聚類結(jié)果；令鏡頭類別自身相似度值為S₂，以初步的場(chǎng)景聚類結(jié)果為輸入，重復(fù)本步驟上述操作，得到最終的場(chǎng)景聚類結(jié)果，其中S₁和S₂為用戶設(shè)置的整數(shù)。