[發明專利]一種基于點云數據的人體行為識別方法

在審

• 申請號: 201910246695.4
• 申請日: 2019-03-29
• 公開（公告）號: CN109993103A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 吳秋霞;康力;許鴻斌;楊曉偉
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于點云數據的人體行為識別方法，包括步驟：1)獲取基礎數據，包括深度圖數據、相機參數；2)對數據做預處理，包括對深度圖進行平滑處理，深度圖到點云的轉換，對點云數據做歸一化處理；3)把處理過后的數據輸入到網絡中進行行為識別。本發明提出了基于點云數據的深度學習人體行為識別，能夠直接利用從深度圖獲取到的點云數據進行人體行為識別，并取得了不錯的結果。

技術領域

本發明涉及圖像處理算法研究及三維數據處理算法研究及人體行為識別算法研究與深度學習算法研究的技術領域，尤其是指一種基于點云數據的人體行為識別方法。

背景技術

人體行為識別主要根據采集到的視頻來分析人體行為，這在視頻監控、醫療康復、健身評估、人機交互等領域應用廣泛，是計算機視覺研究的熱點問題。點云數據就是利用結構光掃描儀或者三維激光掃描儀采集到的分布在三維空間中的離散點集，它對復雜場景以及物體的外形表達具有獨特的優勢，加之其獲取的快速性和便捷性，已被廣泛地應用在計算機圖形學、CAD造型設計等行業。

為了方便實驗，出現了很多人體行為識別數據集，可以把它劃分成二維和三維數據集，二維數據集一般用普通的攝像頭進行采集，而三維數據集一般用如Kinect等可以獲取深度信息的特殊攝像頭進行采集，三維數據集由于包含圖像的深度信息，因此信息更加豐富。深度圖像也叫距離影像，是指將從圖像采集器到場景中各點的距離(深度)值作為像素值的圖像。深度圖像經過坐標轉換可以計算為點云數據；有規則及必要信息的點云數據可以反算為深度圖像。

人體行為識別方法可分為傳統學習方法和深度學習方法。深度學習方法不用人工主動去提取特征，保留了視頻中更多有價值的信息，從效果來講，一般優于傳統方法。深度學習方法應用在人體行為識別不僅要利用到視頻的空間信息，還要用到視頻的時間信息，這也是該方法研究的重點。人體行為識別的深度學習框架大體上可以分為時空網絡、雙流網絡還有其他。時空網絡重點在于如何提取視中的時間信息，一般使用CNN提取空間特征，再利用其他如LSTM等方法提取時間信息，時間信息和空間信息使用的類似于電路中的串聯架構，這種網絡架構在早期的方法中比較流行，效果一般也優于傳統的方法，得到了廣泛的應用。雙流網絡中的時間信息和空間信息采用的方式有點像電路中的并聯架構，兩個網絡開始時互不干涉，各自提取各自的信息，最后采用一定方式進行融合。除了時空網絡，還有一些比較優秀的網絡架構，特別是一些無監督和弱監督方法的出現。然而目前沒有基于點云的深度學習人體行為識別方法。

發明內容

本發明的目的在于克服現有技術的不足，提出了一種基于點云數據的人體行為識別方法，結合點云和深度學習，可以利用深度圖轉換得到的點云數據完成人體行為識別。

為實現以上目的，本發明所提供的技術方案為：一種基于點云數據的人體行為識別方法，包括以下步驟：

1)獲取基礎數據，包括深度圖數據、相機參數；

2)對數據做預處理，包括對深度圖進行平滑處理、深度圖到點云的轉換、對點云數據做歸一化處理；

3)把處理過后的數據輸入到網絡中進行行為識別。

在步驟1)中，所述深度圖數據是指通過深度圖相機采集到的數據，包括深度圖數據的分辨率、深度值；所述相機參數是指在采集數據時所使用的深度相機的內參數和外參數，相機內參數是與相機自身特性相關的參數，包括相機的焦距、像素大小，內參數包括射影變換本身的參數，相機的焦點到成像平面的距離，也就是焦距，以及從成像平面坐標系到像素坐標系的變換所得到的內參數矩陣K；

式中，f_x和f_y是與相機的焦距、像素的大小有關的內參參數；c_x,c_y是平移的距離，和相機成像平面的大小有關；相機外參數是在世界坐標系中的參數，包括相機的位置、旋轉方向，外參數包括相機坐標到世界坐標的轉換矩陣T；