[發明專利]基于毫米波雷達的手勢分割與識別算法

有效

• 申請號: 202011099838.2
• 申請日: 2020-10-15
• 公開（公告）號: CN113408328B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 趙占鋒;周志權;陳雄蘭;吳中杰;潘山;宮宇
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06F18/241
• 分類號: G06F18/241;G06F18/10;G06F18/214;G06F18/21;G06N3/0464;G06N3/048;G06N3/084;G06N3/047
• 代理公司: 威海科星專利事務所 37202
• 代理人: 初姣姣

本發明涉及手勢分割識別算法技術領域，具體的說是一種分類識別性能較好，且對測試對象數據具有更好的泛化能力的基于毫米波雷達的手勢分割與識別算法，首先對實時動作流數據進行滑窗分批處理，然后根據分批后實時數據的手勢標簽輸出概率分布完成實時數據的時間狀態區間劃定；除此之外，還構建了較二維圖像格式手勢數據更豐富的三維視頻格式的手勢數據，并搭建了基于三維卷積的神經網絡模型對三維視頻格式手勢數據進行分類識別，本發明相比于傳統的手勢識別技術，本發明采用了滑窗算法和三維卷積神經網絡，能夠處理連續手勢信號，對不同手勢進行識別和分割，充分利用時間信息，解決了傳統手勢識別技術只能識別單手勢的問題。

技術領域：

本發明涉及手勢分割識別算法技術領域，具體的說是一種分類識別性能較好，且對測試對象數據具有更好的泛化能力的基于毫米波雷達的手勢分割與識別算法。

背景技術：

基于手勢識別的人機交互在自然性和方便性上具有很大的優勢，使得手勢識別擁有著越來越多的應用場景，如智能家居系統、手語實時教學系統、手勢操控游戲系統等。伴隨著人機交互技術的飛速發展，手勢識別技術已成為國內外學者的研究熱點。現有的手勢識別的方法，從信號類型角度主要有基于可見光，深度等視覺圖像，基于可穿戴式設備的運動傳感器，壓力傳感器等力學傳感器信號，基于Wi-Fi等非寬帶無線通信信號和基于雷達信號四大類。其中視覺圖像方法受光照條件，背景環境以及部分遮擋影響明顯，且存在泄露用戶隱私風險；可穿戴設備使用不便，適用場景有限；非寬帶無線通信信號方法分辨率低，背景干擾較大。FMCW毫米波雷達傳感器具有體積小，成本低，距離和速度分辨力高，不受光照變化等因素的影響，抗干擾性強等優點，使得基于毫米波雷達的手勢識別技術成為近年來的研究熱點。

從識別算法角度，主要有人工提取特征和常規機器學習分類方法以及深度學習方法。人工選擇提取的特征主觀性較強，不能完全滿足實際手勢識別系統的要求。深度學習方法近年來在手勢識別上應用越來越廣泛，與傳統人工特征提取加分類器的方式相比，深度學習方式將自動特征提取和分類聯合為一體形成了端到端學習架構，避免了人工經驗特征提取的主觀性，因此在識別率上也取得質的提升。Jun?Seuk?Suh使用長期短期記憶遞歸神經網絡作為有監督的機器學習技術，在距離24GH毫米波雷達發射天線中心0.4m和±30°內，可以識別出七種手勢，精度達到91％以上。B.Dekker等人利用24GHz?FMCW雷達的微多普勒頻譜圖和深度卷積神經網絡(CNN)進行手勢識別取得較好的分類效果。王勇等人基于FMCW雷達系統和卷積神經網絡(CNN)進行手勢識別，利用距離、多普勒和角度參數進行圖像拼接,構建出手勢動作的多維參數數據集，解決了單維參數描述手勢信息量低的問題，相對于單維參數數據集提高了手勢識別的準確率。

然而，以上手勢識別算法的研究主要側重于對孤立動作數據進行離線的分類識別，這一類手勢識別在計算機視覺領域已經研究多年，給出一段只包含一個動作的手勢數據，要求給數據分類，可以看作是輸入為時間較短且有唯一確定標簽的數據，輸出為動作標簽的多分類問題。這種方法是通過避免手勢動作的時序定位來降低識別算法的研究難度，使得后續的算法研究得以進展。在現實應用中更容易遇到的情況是尚未在時域分割的動作流數據，可能既有連續做手勢動作的時間狀態，也有無手勢動作即空閑的時間狀態，我們無法預知用戶何時做手勢，手勢何時結束，因此實時手勢識別必須解決在手勢動作流數據中手勢檢測問題，即需要同時對行為動作進行時域定位和類型判定。該類手勢識別更為復雜，連續動作流數據中通常包含多種動作類別，系統需自動的識別出動作的起始和結束以及動作類別。除此之外，傳統的基于雷達的手勢識別方法主要側重于構建二維圖像格式的手勢數據進行分類識別，該格式的手勢數據包含手勢的關鍵信息較少。

發明內容：

本發明針對以上問題，提出了一種實時手勢分割方法，首先對實時動作流數據進行滑窗分批處理，然后根據分批后實時數據的手勢標簽輸出概率分布完成實時數據的時間狀態區間劃定；除此之外，還構建了較二維圖像格式手勢數據更豐富的三維視頻格式的手勢數據，并搭建了基于三維卷積的神經網絡模型對三維視頻格式手勢數據進行分類識別。

本發明通過以下措施達到：