[發明專利]一種采用RGBD視覺傳感的人體交互系統

有效

• 申請號: 202010507922.7
• 申請日: 2020-06-05
• 公開（公告）號: CN111667005B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 劉瀟峰
• 申請（專利權）人: 鎮江傲游網絡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T5/00;G06V10/764;G06V10/762;G06V10/40;G06V40/20;G06V20/40;G06N5/04
• 代理公司: 北京錦信誠泰知識產權代理有限公司 11813
• 代理人: 馮瑞

1.一種采用RGBD視覺傳感的人體交互系統，其特征在于，包括輸入模塊，預處理模塊，訓練模塊，骨架識別模塊和輸出模塊；

所述輸入模塊，通過深度傳感設備從多視角采集人體行為影像并將每一幀圖像輸入到所述系統中；

所述預處理模塊，對RGBD視頻數據中的每一幀圖像進行人體檢測和人體追蹤，識別并提取出人體部分，并輸出人體區域深度圖；

所述訓練模塊，通過輸入大量標記過的訓練樣本，對樣本進行特征提取將提取出的特征向量輸入到隨機森林訓練器，可以得到一個與系統相適應的訓練分類器，所述訓練分類器應用到所述骨架識別模塊中；

所述骨架識別模塊，對所述人體區域深度圖進行特征提取，并將提取出的特征向量輸入到訓練分類器，再由聚類算法將分類像素推理出人體骨架節點；

所述輸出模塊，接收所述人體骨架節點，與所述系統包含的圖像數據庫匹配圖像數據，將匹配好的系統圖像輸出到顯示設備；

所述訓練模塊使用消息傳遞接口技術，將訓練改在集群服務器cluster上運行；同時結合隨機森林算法的具體情況進行進一步的優化處理，使用所述消息傳遞接口技術能夠優化訓練算法，每個核心負責一個并行化進程的處理，將M維特征均分到N個核，每個核心啟動一個進程并負責M/N維的特征；核心的內存數據只涉及到它所負責的這些維特征，其他核心的內存數據不可見，在需要數據同步時再使用命令進行交換；

對所述訓練模塊中的隨機森林樹的具體訓練流程為：

a).隨機采取一定的像素樣本作為一棵樹的訓練樣本，則在N個進程中都擁有該樣本集合，每個特征負責不同的M/N維特征；

b).在全局上從M維特征里隨機選取少量r維的特征，對r的每一維里計算一個閾值t使得在此閥值下樣本分割為兩類時確保最優，這r維特征可能分散在不同的進程里并行計算，沒有被選取的特征則不計算；

c).對選出的這r維數特征進行比較，選出所有特征里分類情況最優的那一維特征r0作為樹t的根節點標號；

d).在根節點按特征閥值τ0把樹的訓練樣本分成兩個子集Q1和Qr，并把這時的樣本集合分割情況同步到所有進程里；

e).在左右子樹里進行同第b步的類似的構造樹的遞歸訓練，在每個節點樣本少或達到最大樹深時訓練中止。

2.根據權利要求1所述一種采用RGBD視覺傳感的人體交互系統，其特征在于，在采集GRBD視頻數據時設置有至少一個視角采集深度信息，同時在人體身上綁定標記點。

3.根據權利要求1所述一種采用RGBD視覺傳感的人體交互系統，其特征在于，所述預處理模塊對深度傳感設備獲取的深度圖像進行去噪處理并且填補缺失的像素值；

其中，利用彩色圖進行雙邊濾波處理，先根據初始深度圖像，對假設的深度值計算得到一個損失立方體，然后對損失立方體的每一面通過雙邊濾波進行平滑，再平滑以后，對每個像素點求最佳匹配的深度值，輸出作為新的深度圖像，然后迭代進行上述過程直到當前獲得的深度圖像和輸入的深度圖像基本沒有變化，終止算法，在去噪處理前，先將彩色圖像數據分割成區塊，在對應深度圖上的對應區塊上面分別進行平滑去噪。

4.根據權利要求1所述一種采用RGBD視覺傳感的人體交互系統，其特征在于，在所述訓練模塊的訓練樣本挑選時，主要選取在人機交互中更具代表性的動作，剔除不常用的動作。

5.根據權利要求1所述一種采用RGBD視覺傳感的人體交互系統，其特征在于，所述骨架識別模塊通過訓練模塊得到的訓練分類器，輸出深度圖中不同身體部位的像素，使用meanshift聚類算法根據人體區域分塊信息綜合計算出人體基本骨架節點。

6.根據權利要求5所述一種采用RGBD視覺傳感的人體交互系統，其特征在于，在骨架識別算法之后對部分節點進行后處理，根據人體模型來對預測的節點進行置信度估計，將置信度低的一些節點通過投影得到的多視角深度圖提供的信息進行修正或對誤差大的節點位置重新計算。