[發明專利]基于多特征的視頻索引方法

有效

• 申請號: 201310231918.2
• 申請日: 2013-06-09
• 公開（公告）號: CN103336795B
• 公開（公告）日: 2017-03-08
• 發明（設計）人: 于俊清;徐濤;周玲;艾列富
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學專利中心42201
• 代理人: 朱仁玲

技術領域

本發明屬于圖像檢索領域，具體涉及一種視頻索引方法。

背景技術

隨著互聯網與多媒體技術的迅猛發展，網絡中充斥著各種各樣的多媒體信息。人們對于視頻信息檢索的需求也變得越來越大。傳統的視頻檢索技術采用基于關鍵字的檢索方式，這種方式主要是根據該視頻所在URL、文件名、標簽和視頻周圍的文本等外部信息進行檢索或者通過手工視頻標注來檢索。不可否認，手工標注可以提供快速的視頻檢索，但是，手工標注耗時費力，且手工標注視頻信息難免出現漏洞，摻進了人的主觀偏見，于是基于內容的視頻檢索（CBVR，Content?Based?on?Video?Retrieval）應運而生?；趦热莸囊曨l檢索系統允許用戶輸入一張圖片，以查找包含具有相同或相似內容的圖片的視頻。

基于內容的視頻檢索系統的核心是使用圖像的可視特征對圖像進行檢索。它的實現依賴于兩個關鍵技術：特征提取與索引結構。

選擇和提取具有代表性的特征，直接關系到基于內容的視頻檢索系統的性能。由于要利用低層視覺特征，提取高層語義特征，將之用于檢索，實現難度很大，所以現在視頻檢索主要集中在對低層特征的檢索。低層特征根據提取區域不同又可以分為局部特征和全局特征。由于局部特征數目過多，內存占用太大，所以現在一般采用全局特征。常用的全局描述符有BOF（Bag-of-Features）、GIST、VLAD（Vectors?of?Locally?Aggregated?Descriptors）等。BOC描述符是由法國自動化研究所在2011年提出一種采用學習方式生成的顏色描述符，BOF是最先使用的聚合描述符，它能提供較高的查詢準確率，為基于內容的圖像檢索開辟了一個新的方向，同時帶來了一系列有待解決的新問題，如何聚合一副圖像中大量的高維局部特征向量以獲得一個最佳的圖像聚合向量。由于BOF只統計了局部特征對應的視覺單詞的詞頻信息，因此BOF描述符的辨別能力受到了限制。為了進一步提高BOF的準確率，Jegou提出了VLAD，VLAD描述符是先從圖像中提取SIFT描述符，然后聚類，將各個聚類的結果拼接起來形成最終的全局描述符。VLAD描述符對于遮擋、旋轉具有較強的穩定性。

索引結構用于對海量高維圖像特征數據進行有效的組織和管理，是加快圖像檢索速度和提高檢索準確度的關鍵因素。近幾十年來，研究人員在索引結構方面進行了大量的研究，提出了多種樹型索引結構，并在維度較低的特征空間獲得較好的檢索效果，但是傳統的數型索引結構在處理高維數據時會面臨“維度災難”。于是，Indyk等人提出了基于位置敏感哈希的索引結構。這類索引結構在一定程度上緩解了“維度災難”，但是由于其占用內存空間過大，因此無法滿足海量圖片的檢索需求。為了減少索引結構占用內存空間的大小，基于詞袋模型的圖像索引結構應運而生。在基于詞袋模型的索引結構中，Chen提出的基于殘差量化的倒排索引結構能夠提供較高的檢索性能。殘差量化倒排索引結構將特征向量進行分層量化，逐步求精，減小誤差，提高了查詢的準確率。

雖然基于內容的視頻索引領域取得了很大的進步，但是還有許多問題需要克服。從VLAD的生成過程可以看出，局部特征向量到訓練好的聚類中的分配采用的是硬分配策略，即每個局部特征向量只能量化到與其最近的一個聚類中，但是實際情況下，即使兩個描述符之間的距離非常的近，也有可能被分配到完全不同的聚類中。而且描述符VLAD它只利用了圖像的灰度信息，忽略了圖像的顏色信息索引結構方面，不能充分的表達圖像的內容。多特征有利于提高圖像檢索準確度，但是殘差量化倒排索引結構只是針對單一特征，無法適應基于多特征的圖像檢索。

發明內容

本發明的目的在于提供一種基于多特征的視頻索引方法，其目的在于通過優化圖像特征描述符的生成，利用基于多特征的索引結構，從而解決提高視頻檢索系統的性能的問題。

實現本發明目的所采用的具體技術方案如下：

一種基于多特征的視頻索引方法，利用查詢圖片對視頻的關鍵幀圖像進行查詢，從而完成視頻的檢索，其特征在于，該方法包括：

從關鍵幀圖像中選取樣本圖像，生成多個圖像特征，包括局部聚合描述符和BOC描述符；

根據關鍵幀圖像的局部聚合描述符和BOC描述符，訓練殘差編碼本，并構建視頻圖像的多特征分層索引；

利用查詢圖片對所構建的多特征分層索引進行查詢，獲得候選集；

根據鏡頭類型，確定視頻圖像的局部聚合描述符和BOC描述符賦予不同的權重，優化候選集排序結果，即可完成視頻索引。