[發明專利]一種面向虛擬現實的基于單深度圖的人體關節點識別方法

有效

• 申請號: 201810312359.0
• 申請日: 2018-04-09
• 公開（公告）號: CN108734194B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 盧書芳;蔡歷;丁雪峰;高飛;毛家發
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06K9/00;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 馬士林

本發明公開了一種面向虛擬現實的基于單深度圖的人體關節點識別方法，首先通過卷積網絡離線訓練手勢公開數據集NYU，得到一個魯棒性好、準確率高以及識別速度快的模型；然后通過深度攝像頭實時捕獲深度圖像，在對圖像一系列預處理之后分別傳入人體骨骼識別模塊和手勢識別模塊，返回識別后的關節點三維信息，進而映射三維人體模型。利用本發明方法，在虛擬現實環境下具有良好的交互功能，在識別率、運算速度、普適性及準確性等方面均有較好的表現。

技術領域

本發明屬于人機交互技術領域，尤其是涉及一種面向虛擬現實的基于單深度圖的人體關節點識別方法。

背景技術

虛擬現實是一種可以創建和體驗虛擬擬世界的計算機系統，提供給用戶具有高度沉浸感的人機交互和畫面呈現。由于體驗沉浸式虛擬現實需要穿頭戴式顯示設備(HMD)，視線被阻擋，因而傳統的鍵鼠交互不再適用，新的人機交互形式是虛擬現實的核心技術之一，其主要交互形式依舊是人體姿勢以及手勢，市面上現存的硬件設備，包括leap motion、手柄、手套等設備。額外的交互設備不但增加了硬件成本，而且增加的連接線進一步造成動作的限制，裸手交互，輕量級設備的基于計算機視覺的交互技術是虛擬現實發展的重要方向。

單一深度圖像中的人體關節點識別在虛擬現實(VR)和增強現實(AR)的應用中起著重要作用，當前在虛擬環境下的人機交互，盡管已經進行了多年的研究，但由于視野變化大，關節靈活度高，深度質量差，嚴重自閉癥和類似部位混亂，仍然具有挑戰性。傳統的識別是對對象區域分割后的圖像進行特征提取和模型參數估計，是將參數空間中的點或軌跡分類到該空間里某個子集的過程，常見的研究方法一般為3類：基于模板匹配的方法、基于人工神經網絡的方法以及基于概率統計模型的方法，適用背景的復雜度和抗干擾能力都能滿足一般用戶的需求，準確率和識別率也得到了顯著的提高。但這些算法在識別率、運算速度、普適性及準確性等方面仍有不足，最近卷積網絡(ConvNets)在諸如對象分類和人體姿態估計等幾種計算機視覺任務中的應用都出現了很大的增長，因為其具有很強的建模能力和端到端的特征學習能力，模型的準確性和魯棒性都有顯著提高。ConvNets也被引入解決手部姿態估計問題，通常采用復雜的結構設計，如多分支輸入和多模型回歸，有使用ConvNets生成2D熱圖并通過逆向運動學推斷3D手勢；有使用線性層作為先驗姿態，使用多階段ConvNets直接回歸三維位置；有采用3個ConvNets分別對每個視圖的2D熱圖進行深度投影并將它們融合以產生3D手勢；有將骨架流形嵌入到ConvNets中，并端到端訓練模型以呈現順序預測。

ConvNets的多模型集成方法傳統的集成學習意味著訓練多個單獨的模型，并通過平均或權重融合來結合他們的輸出，這在識別競賽中被廣泛采用。然而，ConvNets仍然無法獲得傳統的隨機森林方法的重要優勢。使用ConvNets進行手勢估計最近深度ConvNets已經應用于手部深度成像的姿態估計。但是，使用多個ConvNets需要大量的內存和時間，這對于應用程序來說并不實用，尤其是虛擬現實應用需要占用大量計算機資源。

發明內容

本發明提供了一種面向虛擬現實的基于單深度圖的人體關節點識別方法，在虛擬現實環境下具有良好的交互功能，與現有技術相比，在識別率、運算速度、普適性及準確性等方面均有較大的提高。

一種面向虛擬現實的基于單深度圖的人體關節點識別方法，包括以下步驟：

(1)搭建五區域卷積神經網絡模型，所述五區域卷積神經網絡模型包括多個不同的卷積層、激活層、池化層和全連接層；

(2)選取訓練集，并設置五區域卷積神經網絡模型的訓練參數；

(3)根據五區域卷積神經網絡模型及其訓練參數，以最小化損失函數為目標訓練模型，得到深度圖像手勢估計神經網絡模型；

(4)利用深度攝像機獲取實時的深度圖像幀，并對圖像幀預處理；

(5)利用人體形態模型對經過預處理的圖像幀進行分割，提取出獨立的人體區域，通過人體骨骼識別模型識別人體關節點坐標；