[發明專利]基于多模態深度玻爾茲曼機的人體行為識別方法及系統

有效

• 申請號: 201711061490.6
• 申請日: 2017-11-02
• 公開（公告）號: CN107886061B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 畢盛;謝澈澈;董敏
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于多模態深度玻爾茲曼機的人體行為識別方法及系統，該方法包括步驟：1)獲取視覺和可穿戴傳感器的數據；2)建立視覺數據和可穿戴傳感器多模態融合模型；3)利用深度神經網絡進行異構遷移學習實現對缺失數據的重構；4)利用softmax回歸模型分類器進行分類；5)根據用戶個體特性對公共樣本數據產生的深度網絡模型進行自適應調整。本發明能提高在復雜場景及數據缺失情況下人體行為識別的準確率。

技術領域

本發明涉及人工智能、行為識別技術領域，尤其是指一種基于多模態深度玻爾茲曼機的人體行為識別方法及系統。

背景技術

近年來，機器人產業呈爆發式的增長，機器人“全應用”時代正在來臨。一方面，機器人出現在家庭和日常生活中，另一方面，隨著工業機器人的發展，機器人廣泛地應用于汽車制造業、金屬制造業等各個行業中，實現人機協作。人體行為識別被廣泛地應用于人機交互、人機協作等領域，機器人需要從各個抽象層來理解和識別人類的行為，其識別的準確性將對機器人技術的應用發展起到重大的作用。機器人對人的行為識別是機器人對人以及外界環境感知的一個十分重要的環節，如何降低場景多樣性、背景復雜等噪聲因素對識別效果的影響，一直是人體行為識別研究的熱點。

目前，人體行為識別技術研究方面主要采用基于視覺和基于可穿戴傳感器兩種思路進行，但目前還面臨如下問題：

1、復雜場景下機器人對人體行為識別的準確率需要提高：目前人體行為識別主要通過基于單一視覺、基于單一可穿戴傳感器、基于視覺與可穿戴傳感器傳統的數據融合方法來實現的，這些方式都不能有效解決在復雜場景下人體行為識別準確率低的問題。

2、多模態數據發生缺失時對人體行為識別準確率的挑戰性：目前研究少有涉及此問題，而在實際生活中，由于人的隱私和遮擋等原因，常會發生缺失視覺信號的情況，這會對機器人識別人行為的準確性造成較大的影響。

3、機器人在對人的行為識別時所面臨人的共性與個性問題：目前研究少有涉及如何把人的個性化信息加入到共性模型中從而使模型具有個性化的特點，這也會影響機器人對人體行為的識別。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一個識別準確率較高及可用性較強的基于多模態深度玻爾茲曼機的人體行為識別方法及系統，旨在構建基于視覺和可穿戴傳感器的多模態深度神經網絡模型從而提高在復雜場景下行為識別的準確率；在多模態深度學習模型中采用深度玻爾茲曼機網絡，從而減少缺失數據對行為識別準確度造成的影響；提出一種結合個性化特點調整網絡結構建立自適應共性模型的方法，從而提高機器人對具體主人行為識別的準確率。

為實現上述目的，本發明所提出的技術方案如下：

基于多模態深度玻爾茲曼機的人體行為識別方法，包括以下步驟：

1)獲取視覺和可穿戴傳感器的數據；

2)建立視覺數據和可穿戴傳感器多模態融合模型；

3)利用多模態深度玻爾茲曼機進行異構遷移學習實現對缺失數據的重構；

4)利用softmax回歸模型分類器進行分類；

5)根據用戶個體特性對公共樣本數據產生的多模態深度玻爾茲曼機進行自適應調整。

在步驟1)中，獲取視覺和可穿戴傳感器數據，包括以下步驟：

1.1)使用視覺Kinect傳感器最大的采集頻率作為視覺和可穿戴傳感器共同的采集頻率；

1.2)采用Kinect視覺傳感器作為視頻輸入特征，并安裝于機器人上，通過USB接口把數據傳送給筆記本電腦；

1.3)可穿戴傳感器選擇手腕的姿態和腰部的姿態數據作為輸入特征，通過無線藍牙通信把存儲了一段時間的數據發送到筆記本電腦；