[發(fā)明專利]基于顯著性區(qū)域的視頻關(guān)鍵幀提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810836824.0
• 申請(qǐng)日: 2018-07-26
• 公開（公告）號(hào): CN108921130B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 馮德瀛;張來(lái)剛;趙穎;楚曉華
• 申請(qǐng)（專利權(quán)）人: 聊城大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/46;G06V10/28
• 代理公司: 濟(jì)南鼎信專利商標(biāo)代理事務(wù)所(普通合伙) 37245
• 代理人: 曹玉琳

本發(fā)明公開一種計(jì)算機(jī)圖像處理和模式識(shí)別技術(shù)領(lǐng)域的基于顯著性區(qū)域的視頻關(guān)鍵幀提取方法，首先對(duì)視頻數(shù)據(jù)進(jìn)行采樣轉(zhuǎn)換，將視頻轉(zhuǎn)換為連續(xù)的幀圖像序列，然后在每幀圖像中利用頻譜殘差模型提取顯著性區(qū)域，接著根據(jù)圖像中顯著性區(qū)域的面積將其排序，并對(duì)排序靠前的顯著性區(qū)域進(jìn)行顏色矢量化，最后在前后幀圖像之間根據(jù)矢量化后的顯著性區(qū)域進(jìn)行相似性度量，根據(jù)相似度的大小確定視頻關(guān)鍵幀。本發(fā)明提取出的關(guān)鍵幀圖像序列，可以有效地保留視頻的主要內(nèi)容。

技術(shù)領(lǐng)域

本發(fā)明主要涉及計(jì)算機(jī)圖像處理和模式識(shí)別技術(shù)領(lǐng)域，具體是一種基于顯著性區(qū)域的視頻關(guān)鍵幀提取方法。

背景技術(shù)

隨著監(jiān)控?cái)z像頭在現(xiàn)實(shí)生活中的大規(guī)模普及，監(jiān)控視頻得到了廣泛地應(yīng)用，監(jiān)控視頻的數(shù)據(jù)量也呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，從而對(duì)視頻的存儲(chǔ)、組織和查詢提出了巨大的挑戰(zhàn)。在安防監(jiān)控領(lǐng)域，如何對(duì)海量的視頻進(jìn)行有效地組織、管理和查詢，成為目前關(guān)注和研究的熱點(diǎn)問(wèn)題。

視頻是由連續(xù)的幀所構(gòu)成，一幀為一幅圖像，每幅圖像表達(dá)了視頻中的某個(gè)片段或內(nèi)容。由于相鄰的幀具有時(shí)間和空間連續(xù)性，因此在幀圖像序列中存在大量冗余的信息，不利于在視頻中進(jìn)行高效地分類和檢索。針對(duì)上述問(wèn)題，視頻關(guān)鍵幀提取技術(shù)從視頻中提取出多幅關(guān)鍵幀，通過(guò)這些關(guān)鍵幀表示視頻包含的主要內(nèi)容。傳統(tǒng)的視頻關(guān)鍵幀提取方法，分為基于鏡頭邊界的方法、基于圖像內(nèi)容的方法、基于運(yùn)動(dòng)分析的方法、基于視頻聚類的方法以及基于壓縮域的方法等。

經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Xiaodi Hou等在文獻(xiàn)“Saliency Detection:ASpectral Residual Approach”中采用傅里葉變換的方法獲得圖像的頻域信息，接著利用頻譜殘差法在時(shí)域檢測(cè)圖像中的顯著性區(qū)域，但是該方法尚未用于提取視頻關(guān)鍵幀。羅元等在專利“一種視頻關(guān)鍵幀提取方法”(申請(qǐng)?zhí)枺篊N201711165320.2，公開日：2018年3月27日)中使用Vibe算法和幀間差分法檢測(cè)運(yùn)動(dòng)目標(biāo)，然后使用全局特征峰值信噪比確定全局相似度，接著使用SURF特征判斷局部相似度，最后綜合兩種相似度得到目標(biāo)關(guān)鍵幀序列。該專利主要是從幀間差分法的角度提取關(guān)鍵幀序列，沒(méi)有涉及前景目標(biāo)和背景噪聲的區(qū)分。類似地，強(qiáng)倩等在專利“一種視頻關(guān)鍵幀提取算法”(申請(qǐng)?zhí)枺篊N201711047162.0，公開日：2018年3月23日)中使用幀間差分法提取關(guān)鍵幀。該方法首先計(jì)算某幀圖像有效區(qū)域的大小，然后檢測(cè)該區(qū)域的特征信息，并與前后幀相比較，最后通過(guò)計(jì)算幀間相似度提取關(guān)鍵幀。雖然該專利中檢測(cè)了有效圖像區(qū)域，但是只是采用逐行掃描的方法，沒(méi)有區(qū)分潛在的前景目標(biāo)和干擾的背景噪聲。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提供了一種基于顯著性區(qū)域的視頻關(guān)鍵幀提取方法，通過(guò)在視頻幀圖像序列中利用頻譜殘差模型檢測(cè)每幀圖像中的顯著性區(qū)域，確定潛在的前景目標(biāo)，避免無(wú)關(guān)背景噪聲的影響，通過(guò)判斷前后幀圖像中顯著性區(qū)域的顏色相似度，濾除包含相似內(nèi)容的視頻幀圖像，確定包含主要內(nèi)容的關(guān)鍵幀圖像，從而為基于內(nèi)容的視頻檢索奠定基礎(chǔ)。

本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的，本發(fā)明具體為：

首先對(duì)視頻數(shù)據(jù)進(jìn)行采樣轉(zhuǎn)換，將視頻轉(zhuǎn)換為連續(xù)的幀圖像序列；

然后在每幀圖像中利用頻譜殘差模型提取顯著性區(qū)域；

接著根據(jù)圖像中顯著性區(qū)域的面積將其排序，并對(duì)排序靠前的顯著性區(qū)域進(jìn)行顏色矢量化；

最后在前后幀圖像之間根據(jù)矢量化后的顯著性區(qū)域進(jìn)行相似性度量，根據(jù)相似度的大小確定視頻關(guān)鍵幀。

所述的對(duì)視頻數(shù)據(jù)進(jìn)行采樣轉(zhuǎn)換是指：視頻是由一幀幀連續(xù)的圖像所組成，根據(jù)視頻包含的總幀數(shù)和幀率，設(shè)定視頻采樣頻率，并根據(jù)采樣頻率將視頻轉(zhuǎn)換為一組連續(xù)的幀圖像序列。

在視頻數(shù)據(jù)中，總幀數(shù)為N_T，幀率為n_f，采樣頻率為n_s，則采樣后的連續(xù)幀圖像序列為其中