[發明專利]一種基于局部時空連續性聚合描述的視頻紋理描述方法

有效

• 申請號: 201811186210.9
• 申請日: 2018-10-12
• 公開（公告）號: CN109344902B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 王玉;呂穎達;黃永平;申鉉京;馬舒陽;沈哲
• 申請（專利權）人: 吉林大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 朱世林;胡景陽

本發明提出一種基于局部時空連續性聚合描述的視頻紋理描述方法。該方法用圖像集合表示視頻，對圖像集合劃分分塊，通過LBP?TOP算子提取視頻的局部時空紋理特征，利用k?means算法獲取該視頻描述集合的聚類中心，基于這些聚類中心對視頻描述集合進行聚合得到一個單獨的向量，以得到更為細致的刻畫視頻的局部信息。特征向量之間的相似性是通過歐式距離來定義，并對不同分量賦予相應權重。最后利用最近鄰方法獲得最佳視頻分類結果。通過在Honda/UCSD數據庫上與當前幾種主流視頻描述算子進行的對比實驗，驗證了本文算法的有效性，所提算法識別精度較高，誤差較低，并且具有較強的魯棒性。

技術領域

本發明涉及計算機視覺領域，特別涉及一種視頻紋理描述方法。

背景技術

視頻紋理描述算子的設計一直是計算機視覺、視頻分析與處理等領域的研究熱點和難點問題，對于解決視頻人臉識別、視頻人體行為識別、智能視頻監控等問題具有重要意義和研究價值。雖然目前出現了一些有效的視頻紋理描述方法，但仍然存在自動對齊、對各種環境變化魯棒性較差等問題。圍繞如何解決光照變化、復雜環境背景對視頻描述魯棒性的影響，眾多學者也從多方面展開了相關的研究工作。總之，高效且魯棒的視頻紋理描述算子對于解決與視頻相關的研究與應用具有重要作用。因此，需要一種行之有效的方法來解決上述問題。

發明內容

本發明所要解決的技術問題是為如何有效描述視頻紋理問題，提出一種基于局部時空連續性聚合描述的視頻紋理描述方法。所述方法對于解決視頻人臉識別、視頻人體動作視頻以及視頻處理與分析等方面具有重要價值。

為了解決上述技術問題，本發明所采用的技術方案是：

一種基于局部時空連續性聚合描述的視頻紋理描述方法，包括如下步驟：

步驟A，對輸入視頻中的目標進行檢測并跟蹤，獲取含有目標的連續視頻序列并進行歸一化處理；

步驟B，對歸一化后的幀圖像集合劃分分塊，為獲取視頻的局部時空連續性信息，可對每個分塊提取LBP-TOP視頻紋理特征，以獲得每個分塊級的特征直方圖信息；

步驟C，在所有分塊級的LBP-TOP特征構成的特征分布空間中進行k-mean聚類，并聚合屬于同一聚類的特征與聚類中的殘差，得到描述整個視頻序列的局部時空連續性聚合描述矩陣，從而獲得視頻的更為緊湊的描述形式；

步驟D，將上述聚合描述矩陣會以向量的形式表示，同時基于Fisher準則對向量進行權重計算以提高視頻紋理的表示能力，并獲得最終的視頻紋理描述向量。

在步驟B中，所述LBP-TOP特征提取首先對視頻序列進行灰度化處理得到視頻幀的灰度圖像，然后在視頻序列的三個正交平面上分別提取LBP特征，最后將這三個LBP特征直方圖進行級聯操作已獲得視頻序列的紋理特征。

在步驟D中，所述基于Fisher準則對向量進行權重計算以提高視頻紋理的表示能力，對于含有多個類別的視頻分類問題，隸屬于同一類別的不同視頻序列之間的相似度分布構成了類內相似度空間，隸屬于不同類別的視頻序列之間的相似度分布形成了類間相似度空間，這里對視頻局部聚合描述向量的權重學習利用了Fisher準則，即通過使類內散度盡可能小而類間散度盡可能大的方式來獲得每個分量的權值。

本發明的有益效果：本發明提出了一種基于局部時空連續性聚合描述的視頻紋理描述方法，該算法用圖像集合表示視頻，對圖像集合劃分分塊，通過LBP-TOP算子提取視頻的局部時空紋理特征，利用k-means算法獲取該視頻描述集合的聚類中心，基于這些聚類中心對視頻描述集合進行聚合得到一個單獨的向量，以得到更為細致的刻畫視頻的局部信息。特征向量之間的相似性是通過歐式距離來定義，并對不同分量賦予相應權重。最后利用最近鄰方法獲得最佳視頻分類結果。通過在Honda/UCSD數據庫上與當前幾種主流視頻描述算子進行的對比實驗，驗證了本文算法的有效性，所提算法識別精度較高，誤差較低，并且具有較強的魯棒性。

附圖說明