[發明專利]基于小波域聯合統計描述子的行為識別方法

有效

• 申請號: 201710361575.X
• 申請日: 2017-05-22
• 公開（公告）號: CN107229912B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 同鳴;李金鵬
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

本發明公開了一種基于小波域聯合統計描述子的行為識別方法，主要解決現有小波域行為識別技術對時空信息提取不充足、對系數間關系考慮不足和魯棒性低的問題。其技術方案是：1.提取行為視頻的稠密軌跡，并構建沿軌跡彎曲的立方體；2.對視頻進行3D平穩小波變換分解，獲得各方向的系數子帶；3.在沿軌跡彎曲的立方體內，構建小波系數子帶間互信息描述子；4.在沿軌跡彎曲的立方體內，按不同的鄰域方向構建各級小波系數共現直方圖描述子；5.串接互信息描述子和共現直方圖描述子，得到小波域聯合統計描述子；6.構建描述子的詞袋模型，并使用SVM分類器進行識別。本發明提高了人體行為識別準確率，可應用于智能監控和人機交互。

技術領域

本發明屬于視頻處理技術領域，更進一步涉及一種行為識別方法，可用于智能視頻監控和人機交互。

背景技術

在之前數十年中，人體行為識別及其相關研究領域向來被認為是計算機視覺學科中非常具有挑戰性的科研方向。人體行為識別通過算法設計讓計算機學習、分析、理解并識記人體行為，實現計算機對人體行為視頻的分類判別。人體行為識別相關技術被廣泛使用，如：攝像監控、多媒體語義標注與索引、行人跟蹤和人機互動等，越來越多的學者和機構在相關方面相繼進行了大量的研究工作。行為分類的本質就是對運動圖像進行分析，其最根本的任務就是從序列中獲取運動信息，從而分析出運動規律，行為識別目標產生的運動信息復雜多樣，如何將這些底層特征有效的提取出來并分析其中的相關性，是行為識別方向上備受關注的研究課題。

小波變換因其優秀的時頻特性，在圖像和視頻特征提取上獲得了廣泛的應用，此外小波變換的多尺度分析能力，也是充分挖掘數據信息有力保證。目前基于小波變換的行為識別有：

(1).Minhas R,Baradarani A,Seifzadeh S,et al.Human action recognitionusing non-separable oriented 3D dual-tree complex wavelets[J].ComputerVision–ACCV 2009,2010:226-235。這種方法將三維雙樹復小波變換用于行為的識別和分類。該方法在對視頻數據進行小波分解前，將視頻進行分割使其只包含運動目標的小三維立方體，以降低背景的干擾，復數的引入使得其所提特征能攜帶相頻特性，以便提供更多的位置信息，且該方法對平移更穩定。相對于三維基本小波分解可以得到八個方向子帶，該方法可獲得32個方向子帶，特征能提供的方向和其他運動信息也更加豐富。但是這種方法計算復雜度明顯提高，且對視頻分割準確度要求非常高，對復雜背景、遮擋等干擾較敏感。

(2).Shao L,Gao R.A Wavelet Based Local Descriptor for Human ActionRecognition[C]//BMVC.2010:1-10。這種方法將二維小波變換與興趣點檢測方法相結合用于人體行為識別。該方法先提取時空興趣點，然后在興趣點周圍的立方體中進行二維小波分解，可以獲得具備鑒別性和可靠性的描述子，特征維度低，對噪聲、光照等影響具有一定的容許性，但該方法在進行小波分解時只選取局部立方體內的三個代表平面，對數據的覆蓋范圍不足，且使用興趣點提取方法屬于直接將二維分析擴展至三維，忽略了時域結構和空域結構的區別，所獲取空時信息不充分。此外該方法特征構造時僅將小波系數串聯，未考慮系數方向、系數間關系等特性。

發明內容

本發明的目的在于針對上述已有技術的不足，提出一種基于小波域聯合統計描述子的行為識別方法，以有效利用小波系數間的依賴關系，對視頻時空關系進行更充分的描述，進一步提高人體行為識別準確率。

實現本發明的主要方案是：首先提取運動視頻稠密軌跡并在軌跡周圍構建局部立方體；對視頻數據進行3D平穩小波變換，將視頻中包含信息轉換到小波域，然后在軌跡周圍局部立方體內分別構建小波系數子帶間互信息和小波系數共現直方圖兩個聯合統計描述子，用于定量和定性的表示小波系數間的依賴關系；然后對串聯后的上述兩個特征描述子使用詞袋模型進行編碼，形成行為視頻直方圖表示；最后使用SVM分類器實現行為的分類識別。