[發明專利]一種采用RGBD視覺傳感的人體交互系統

有效

• 申請號: 202010507922.7
• 申請日: 2020-06-05
• 公開（公告）號: CN111667005B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 劉瀟峰
• 申請（專利權）人: 鎮江傲游網絡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T5/00;G06V10/764;G06V10/762;G06V10/40;G06V40/20;G06V20/40;G06N5/04
• 代理公司: 北京錦信誠泰知識產權代理有限公司 11813
• 代理人: 馮瑞

本發明涉及計算機技術領域，尤其涉及一種采用RGBD視覺傳感的人體交互系統，包括：輸入模塊，預處理模塊，訓練模塊，骨架識別模塊和輸出模塊，輸入模塊將采集的人體行為影像輸入到系統中，預處理模塊識別并提取出人體區域深度圖，通過訓練模塊得到一個應用到骨架識別模塊的訓練分類器，骨架識別模塊對深度圖提取特征，由訓練分類器和聚類算法推理出人體骨架節點，輸出模塊匹配數據圖像并輸出到顯示設備，通過增加多視角深度圖降低訓練開銷，進行三維節點位置合并，使計算出的骨架節點位置更精確；在小規模的集群服務器上用消息傳遞接口技術對隨機森林算法進行并行化加速，減少了分類器生成的成本，加快了訓練速度，改進后的骨架識別算法誤差更小。

技術領域

本發明涉及計算機技術領域，尤其涉及一種采用RGBD視覺傳感的人體交互系統。

背景技術

虛擬現實是一種在虛擬環境中的交互式體驗，利用電腦模擬產生一個三維空間的虛擬世界讓使用者感受到身歷其境的體驗，同時能夠自由的與該空間內的事物進行互動，一種有別于普通電腦操作系統的的人機交互系統成為有效地實現了人與計算機之間對話的技術。人體行為識別的研究在人機交互系統中起到至關重要的作用，從簡單的行為識別到復雜的多人行為識別方面難度也越來越高，但是也是不可避免的發展趨勢。

針對人體行為識別技術的研發方向，首先要尋找合適的特征提取方法，也就是通過特征表達式來表示行為，其次根據特征表達之后尋找合適的動作分類方法。在對人體行為識別中，大多是基于RGB進行的這種方法的缺點是沒辦法完全利用現實三維空間的所有信息，最明顯的就是深度信息丟失,這就導致了傳統的行為識別的相關工作難度很大。在微軟推出Kinect設備也同時提出了基于深度圖的采用像素分類識別繼而融合得到骨架節點信息的算法后，人們開始利用深度數據、骨架數據結合傳統的RGB數據來實現對多模態數據的特征提取，從而實現對人體的行為識別。

現有技術中的針對人體行為特征提取的特征向量經由隨機森林訓練器所訓練輸出二得到的的分類器，資源消耗大、訓練時間長，其中訓練樣本是基于單個像素，一張圖片里就會對數千像素的每一個來提取特征，所以訓練過程的數據量是其應用場景的成千上萬倍，所需要處理的數據量是巨大的，普通PC就只能處理幾百張圖片數量級的訓練，可是這個數量顯然未能達到輸出訓練分類器的要求。

鑒于上述問題的存在，本設計人基于從事此類產品工程應用多年豐富的實務經驗及專業知識，并配合學理的運用，積極加以研究創新，以期創設一種采用RGBD視覺傳感的人體交互系統，使其更具有實用性。

發明內容

本發明所要解決的技術問題是：提供一種采用RGBD視覺傳感的人體交互系統，解決訓練分類器獲取成本高和通過RGBD視頻數據識別骨架節點的瑕疵。

為了達到上述目的，本發明所采用的技術方案是：一種采用RGBD視覺傳感的人體交互系統，包括：輸入模塊，預處理模塊，訓練模塊，骨架識別模塊和輸出模塊；

所述輸入模塊，通過深度傳感設備從多視角采集人體行為影像并將每一幀圖像輸入到所述系統中；

所述預處理模塊，對RGBD視頻數據中的每一幀圖像進行人體檢測和人體追蹤，識別并提取出人體部分，并輸出人體區域深度圖；

所述訓練模塊，通過輸入大量標記過的訓練樣本，對樣本進行特征提取將提取出的特征向量輸入到隨機森林訓練器，可以得到一個與系統相適應的訓練分類器，所述訓練分類器應用到所述骨架識別模塊中；

所述骨架識別模塊，對所述人體區域深度圖進行特征提取，并將提取出的特征向量輸入到訓練分類器，再由聚類算法將分類像素推理出人體基本骨架節點；

所述輸出模塊，接收所述人體骨架節點，與所述系統包含的圖像數據庫匹配圖像數據，將匹配好的系統圖像輸出到顯示設備。

進一步地，在采集GRBD視頻數據時設置有至少一個視角采集深度信息，同時在人體身上綁定標記點。