[發(fā)明專利]一種運(yùn)動(dòng)識(shí)別方法

在審

• 申請?zhí)枺?/td>: 201710424326.0
• 申請日: 2017-06-07
• 公開（公告）號: CN107463870A
• 公開（公告）日: 2017-12-12
• 發(fā)明（設(shè)計(jì)）人: 肖秦琨;司陽;李興;高嵩
• 申請（專利權(quán)）人: 西安工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司61200
• 代理人: 徐文權(quán)

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺和人工智能技術(shù)領(lǐng)域；涉及一種運(yùn)動(dòng)識(shí)別方法；具體的涉及一種基于自動(dòng)編碼器和模式識(shí)別神經(jīng)網(wǎng)絡(luò)的人體運(yùn)動(dòng)識(shí)別方法。

背景技術(shù)

人體運(yùn)動(dòng)識(shí)別是計(jì)算機(jī)視覺和人工智能領(lǐng)域的熱點(diǎn)問題，具有廣泛的應(yīng)用前景，受到很多學(xué)者和研究者的關(guān)注。同時(shí)，由于問題本身的復(fù)雜性和不確定性，運(yùn)動(dòng)識(shí)別仍然是一個(gè)非常具有挑戰(zhàn)性的課題。

許多動(dòng)作識(shí)別方法著重于構(gòu)建有效的描述符或特征，并對基于特征匹配進(jìn)行分類。以前的動(dòng)作識(shí)別方法主要包括兩類，即：動(dòng)作特征表示和分類。其中特征表示是識(shí)別動(dòng)作的關(guān)鍵任務(wù)。運(yùn)動(dòng)序列特征表示通常被分為全局表示和局部表示。全局功能記錄總圖像的演示。然而，全局特征經(jīng)常受到阻塞、角度變化和噪音的干擾。基于全局的特征包括：基于視覺的呈現(xiàn)，基于輪廓的描述符，基于邊緣的特征和運(yùn)動(dòng)歷史圖像(MHI)等。局部特征經(jīng)常用于獨(dú)立的描述小塊，并將小塊組合在一起構(gòu)建時(shí)空模型，如HOG和SURF。局部描述符可以更有效地呈現(xiàn)動(dòng)作視頻，特別是對于噪聲圖像和部分遮擋圖像。然而，處理相關(guān)的興趣點(diǎn)會(huì)產(chǎn)生高時(shí)間成本。

同時(shí)很多常規(guī)方法被應(yīng)用于對人類行為進(jìn)行分類。例如：一種多類SVM分類器，它使用動(dòng)態(tài)規(guī)劃來分割序列。局部描述符被組合成用于動(dòng)作識(shí)別的SVM。K-最近鄰分類器用于預(yù)測動(dòng)作標(biāo)簽。然而，這些常規(guī)識(shí)別方法都不能及時(shí)捕獲動(dòng)態(tài)時(shí)空序列信息。

此外，已經(jīng)建立的許多基于深度學(xué)習(xí)的算法來理解靜止圖像的含義，卷積神經(jīng)網(wǎng)絡(luò)(CNN) 已被證明是識(shí)別靜止圖像的有力工具。但是，相對于動(dòng)作序列圖像識(shí)別來說是比較困難。一種運(yùn)動(dòng)的二維表示通過將序列組合成單個(gè)圖像，稱為二進(jìn)制運(yùn)動(dòng)圖像(BMI)。對于分類技術(shù)，CNN還用于動(dòng)作識(shí)別。為了識(shí)別運(yùn)動(dòng)視頻，CNN的時(shí)間擴(kuò)展目的是挖掘動(dòng)作相關(guān)的描述符。另一方面，即使采用計(jì)算機(jī)并行計(jì)算技術(shù)，如GPU+CUDA技術(shù)，并配備高性能硬件支持，CNN 依然需要幾個(gè)小時(shí)的時(shí)間進(jìn)行培訓(xùn)。如何有效縮短深度網(wǎng)絡(luò)的培訓(xùn)時(shí)間是一個(gè)值得考思考的問題。

目前國外公開的文獻(xiàn)中，文獻(xiàn)[1].H.Jhuang,T.Serre,L.Wolf,T.Poggio,A biologically inspired system for action recognition,In:ICCV,2007,pp.1–8.m提出基于特征匹配的分類方法；文獻(xiàn)[2]. I.Laptev,On space–time interest points,Int.J.Comput.Vis.64(2–3)(2005)107–123.提出利用局部特征構(gòu)建時(shí)空模型的方法；文獻(xiàn)[3].M.Hoai,Z.-Z.Lan,F.Dela Torre,Joint segmentation and classification of human actions in video,in:CVPR,2011,pp.3265-3272.提出多類SVM分類器；文獻(xiàn)[4].A.A.Efros,A.C.Berg,G.Mori,J.Malik,Recognizing action at a distance,in:ICCV2003,Nice, France,October 14–17,2003,pp.726–733.提出K-最近鄰分類器；文獻(xiàn)[5].Krizhevsky Alex, Sutskever Ilya,Hinton Geoffrey E.ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems,v 2,p 1097-1105,2012.提出卷積神經(jīng)網(wǎng)絡(luò) (CNN)。

但上述文獻(xiàn)的預(yù)測效果有幾點(diǎn)不足：

(1)文獻(xiàn)[1][2]主要思想是基于特征匹配進(jìn)行分類。局部描述符雖然可以更有效地呈現(xiàn)動(dòng)作視頻，特別是對于噪聲圖像和部分遮擋圖像。但是處理相關(guān)的興趣點(diǎn)會(huì)產(chǎn)生較高的時(shí)間成本；

(2)文獻(xiàn)[3][4]中提出的多類SVM分類器和K-最近鄰分類器，前者使用動(dòng)態(tài)規(guī)劃來分割序列，后者用于預(yù)測動(dòng)作標(biāo)簽，它們都不能及時(shí)捕獲動(dòng)態(tài)時(shí)空序列信息；

(3)文獻(xiàn)[5]提出的卷積神經(jīng)網(wǎng)絡(luò)(CNN)，需配備高性能硬件支持，并且需要幾個(gè)小時(shí)的時(shí)間進(jìn)行培訓(xùn)，訓(xùn)練時(shí)間長，硬件要求較高；

(4)文獻(xiàn)[5]提出的卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種傳統(tǒng)的使用自動(dòng)編碼器的深度網(wǎng)絡(luò)，其結(jié)構(gòu)不夠緊湊，占用的存儲(chǔ)空間較大。

發(fā)明內(nèi)容