[發明專利]運動目標的運動模式分類和動作識別的方法

有效

• 申請號: 201210106072.5
• 申請日: 2012-04-11
• 公開（公告）號: CN102663429A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 胡士強;王勇
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 張澤純

技術領域

本發明涉及的是圖像處理技術領域，具體是一種基于光流序列的運動目標的運動模式分類和動作識別的方法。?

背景技術

運動模式(motion?pattern)和動作識別(action?recognition)是計算機視覺與模式識別領域的研究熱點。視頻圖像中對運動目標的運動模式準確分類和對人的動作進行識別在民用和軍用上均具有廣泛的應用前景。針對這兩個問題，國內外學者提出了很多方法，主要方法歸納如下。?

傳統的運動模式分類的方法主要有兩種。?

第一種是基于軌跡的方法，對目標進行跟蹤得到軌跡，然后對軌跡進行聚類。此類方法的缺點在于必須對目標進行準確的跟蹤，而得到的所有軌跡的長度需要相同，才能進行聚類。?

第二種方法是基于光流信息的，可以通過主題模型(topic?model)，詞袋模型(bag?of?word)等對光流信息進行聚類，從而得到各種運動模式。?

動作識別的主要方法有：?

(1)基于形狀的方法，即通過提取局部特征和全局特征來建立時空模型，然后聚類；?

(2)基于外表的方法，即通過對訓練視頻里面得到人的外表特征序列，來用隱馬爾科夫模型(以下簡稱為HMM)進行訓練，得到對應的HMM，然后對測試視頻得到相應的人的外表特征序列，并用HMM模型來判別屬于哪個類；?

(3)基于特征點的方法，即對于訓練視頻，通過特征點提取的算法提取特征，然后通過聚類算法得到一個個視頻單詞(video?words)，對于訓練視頻，通過支持向量機(SVM)，將各個訓練視頻提取的特征映分離開，來得到各個類的模型，然后對測試視頻提取的視頻單詞通過支持向量機來進行測試，以判別屬于哪個類。?

以上兩個識別問題里都用到光流信息和軌跡信息。但是光流和軌跡信息是分開?使用的。軌跡可以提供目標的位置信息，但是必須精確跟蹤，光流可以給出目標的運動的信息，但是一種局部的運動信息。而且人們是將以上兩個識別問題割裂開來考慮的。?

經對現有技術文獻的檢索發現，J.Yamato等在《IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition》(pp.379-385，1992)上發表“Recognizing?Human?Action?in?Time?Sequential?Images?Using?Hidden?Markov?Model”(基于隱馬爾科夫模型的時間序列圖像的動作識別，IEEE計算機視覺與模式識別會議)。該文提出了利用提取人的外表特征來組成一個時間序列，然后通過隱馬爾科夫模型來學習，得到各個動作的模型，然后用來識別。文中的實驗結果說明該方法具有可行性。但是該方法只能提取人的特征，用來動作識別，而不能提取車或者其它剛體的特征。因此該方法不能推廣到運動模式分類。?

發明內容

本發明的目的在于克服上述現有技術中的不足，提供一種基于光流序列的對運動目標進行運動模式識別或動作識別的方法，該方法將運動模式分類和動作識別這兩類以往被分別處理的問題統一起來，能夠同時實現運動模式分類和動作識別。?

本發明是通過以下技術方案實現的：?

一種基于光流方向序列運動目標的運動模式識別或動作識別的方法，其特點在于，該方法包括下列步驟：?

①首先提取運動目標的運動軌跡：對于剛體目標，首先通過混合高斯法對背景建模；對于非剛體目標，給出各個節點，然后采用均值漂移跟蹤算法，利用目標的顏色信息對運動目標進行跟蹤；采用加權的顏色直方圖來考慮像素的空間位置信息。?

②計算軌跡點的光流時間序列值：根據運動目標的橫向光流速度和縱向光流速度計算出光流方向，并將光流方向量化成4個值并組成時間序列，當相鄰的兩個值相同時，則合并成一個值，獲得光流時間序列值；?

③用隱馬爾科夫模型對光流時間序列進行訓練，建立運動目標的隱馬爾科夫模型：?

所述的光流時間序列，通過隱馬爾科夫理論的學習算法，得到相應的隱馬爾科夫模型；?

④重復步驟①②③分別建立各種運動目標的隱馬爾科夫模型；?

⑤對待識別的運動目標用隱馬爾科夫模型進行測試：?

對待測試的運動目標按步驟①②提取運動目標的運動軌跡，計算軌跡點的光流時間序列值，?

⑥計算該光流時間序列值由某個隱馬爾科夫模型生成的概率，并與設定的概率閾值進行比較，當計算概率大于設定的閾值，即認為測試的光流序列由這個給定的隱馬爾科夫模型生成，則進入步驟⑧；否則進入步驟⑦?