[發(fā)明專利]基于投影重構(gòu)和多輸入多輸出神經(jīng)網(wǎng)絡的坐姿識別方法

有效

• 申請?zhí)枺?/td>: 202010119569.5
• 申請日: 2020-02-26
• 公開（公告）號: CN111325166B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 沈捷;黃安義;王莉;曹磊
• 申請（專利權(quán)）人: 南京工業(yè)大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/764;G06V10/20;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京君陶專利商標代理有限公司 32215
• 代理人: 嚴海晨

本發(fā)明涉及一種基于投影重構(gòu)和多輸入多輸出神經(jīng)網(wǎng)絡（MIMO?CNN）的坐姿識別方法，包括：獲取人體上半身深度圖像及人體前景輪廓圖；預處理；對坐姿輪廓的深度信息進行投影，重構(gòu)得到三視角深度圖；設(shè)計用于坐姿識別的MIMO?CNN網(wǎng)絡并學習模型參數(shù);坐姿識別；模型自學習。優(yōu)點：預處理后深度圖像和人體輪廓圖進行結(jié)合，排除周圍背景對坐姿識別的干擾。使用投影重構(gòu)方法得到三視角深度圖，使得坐姿信息更加豐富。所設(shè)計的MIMO?CNN結(jié)構(gòu)，特別適用于投影重構(gòu)特征信息同時融入了注意力機制，能更好的關(guān)注不同坐姿的熱點區(qū)域，從而提升識別精度，同時采用模型自學習，較好地平衡了實時性和準確性需求，對視角變化和復雜環(huán)境背景，具有較強的抗干擾能力。

技術(shù)領(lǐng)域

本發(fā)明是一種基于投影信息和多輸入多輸出神經(jīng)網(wǎng)絡(MIMO-CNN)的坐姿識別方法，屬于人體姿態(tài)識別技術(shù)領(lǐng)域。

背景技術(shù)

隨著科學技術(shù)的飛速發(fā)展，當前，坐姿早已成為當今現(xiàn)代人最常見的日常狀態(tài)之一，同時也和人的身體密切相關(guān)。我們大部分的寫作辦公和在電腦前都是以坐姿的姿態(tài)進行的，尤其是青少年兒童在學習過程中的坐姿不規(guī)范，但是很少有人會注意到坐姿對身體健康的影響，很多人在坐著使用電腦時存在大量不好的習慣，喜歡低頭、駝背、仰坐、斜坐等。所以通過一種方法可以自動的識別到人的坐姿狀況，并以此為基礎(chǔ)用于坐姿的糾正和引導具有很高的實用價值。

坐姿的糾正和引導的關(guān)鍵是準確和快速地對坐姿進行識別，國內(nèi)外對關(guān)于坐姿識別的研究從很早的時候就已經(jīng)開始了。基于人類對人體姿態(tài)識別以及運動檢測的經(jīng)驗，目前對于坐姿識別有以下幾個方向的方法。有通過在座椅上放置一些壓電類的傳感器，通過傳感器采集到的數(shù)據(jù)進行分析來識別人在椅子上的人的坐姿，這種方法容易受到諸如環(huán)境噪聲、偏移和串擾等外界不穩(wěn)定因素的影響，而且壓力分布不僅與坐姿有關(guān)，同時人的體重，在椅子上坐的面積等都會極大的影響傳感器的數(shù)據(jù)無規(guī)律變化，導致產(chǎn)生的數(shù)據(jù)難以理解，其精度更是大打折扣。近幾年隨著計算機視覺的發(fā)展，基于視覺和圖像處理技術(shù)的坐姿識別方法層出不窮，有些研究人員利用視頻中人臉所占區(qū)域大小和位置關(guān)系來識別坐姿，也有人利用深度傳感器采集人體骨骼信息，并根據(jù)骨骼節(jié)點角度來識別坐姿，還有一些研究人員采集大量人體坐姿信息，利用機器學習訓練坐姿模型，進而識別人體坐姿。綜上所述，目前的方法主要有以下三個缺陷，第一，對于復雜背景下的抗干擾性較差。第二，基于傳統(tǒng)視覺的坐姿識別方法對于攝像頭的角度變化極為敏感。第三，對人體坐姿多樣性的適應性差，目前的方法，對于坐姿都是在于一個較為理想的動作下識別，但真實的座位上的人們其自然坐姿較為多樣復雜，識別方法的適應能力和魯棒性依然是目前研究方法的熱點。

發(fā)明內(nèi)容

本發(fā)明提出的是一種基于投影重構(gòu)和多輸入多輸出神經(jīng)網(wǎng)絡(MIMO-CNN)的坐姿識別方法，其目的在于針對現(xiàn)有坐姿識別存在的抗干擾性較差、建模困難性高、和對攝像頭角度變化過于敏感等缺陷，分別通過深度攝像頭獲取人體深度坐姿圖像，并對其進行預處理和三維信息重構(gòu)得到多視角的深度信息，最后利用MIMO-CNN網(wǎng)絡對坐姿的前后方向的坐姿狀態(tài)的和左右方向的坐姿狀態(tài)的識別，用戶可以在使用過程中反饋誤判樣本，定期重新學習優(yōu)化網(wǎng)絡參數(shù)，從而提高網(wǎng)絡的識別精度。

本發(fā)明的技術(shù)解決方案：一種基于投影重構(gòu)和多輸入多輸出神經(jīng)網(wǎng)絡(MIMO-CNN)的坐姿識別方法，包括以下步驟：

(1)圖像獲取：利用深度攝像頭獲取深度圖像和人體前景輪廓圖；

(2)圖像預處理：對所獲得的深度圖像和人體前景輪廓圖進行直方圖均值化和濾波等預處理操作，并將樣本進行數(shù)據(jù)增強，以擴充數(shù)據(jù)集用于訓練；

(3)深度圖像投影重構(gòu)：對人體前景輪廓深度圖進行投影重構(gòu)，分別以X、Y、Z軸反方向為投影方向，依次得到左視圖、俯視圖和主視圖，即三視角深度圖；

(4)建立坐姿識別模型：設(shè)計用于坐姿識別的MIMO-CNN，并將經(jīng)過步驟(3)處理后的三視角深度圖分別作為MIMO(多輸入多輸出)-CNN的三個通道的輸入，進行網(wǎng)絡訓練；