[發明專利]基于目標檢測和人體姿態估計的坐姿檢測方法

在審

• 申請號: 201810357864.7
• 申請日: 2018-04-20
• 公開（公告）號: CN108549876A
• 公開（公告）日: 2018-09-18
• 發明（設計）人: 高陳強;湯林;陳旭;汪瀾;韓慧
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明涉及一種基于目標檢測和人體姿態估計的坐姿檢測方法，屬于圖像處理與計算機視覺技術領域。本發明首先提取由特征I和特征II融合形成的融合特征，并將融合后的特征輸入CNN中，若融合特征來自于訓練集，則用于訓練網絡參數；若融合特征來自驗證集，則用于驗證網絡參數，并通過反向傳播算法傳遞誤差信號，更新梯度，尋找最優值，利用柔性最大激活函數Softmax做分類回歸，得到最終的分類結果和分類準確率。本發明解決了現有坐姿檢測中在復雜多目標情況下目標丟失的問題，摒棄了傳統的依賴可穿戴設備或傳感器的方法，采用了基于目標檢測和人體姿態估計的方法，使得在背景復雜，人群密集的情況下能夠準確定各個任務目標的坐姿。

技術領域

本發明屬于圖像處理與計算機視覺技術領域，涉及一種基于目標檢測和人體姿態估計的坐姿檢測方法。

背景技術

隨著人工智能技術的進一步發展，深度學習技術也已經得到了越來越多的關注。無人駕駛汽車、智能家居系統等這些伴隨著人工智能技術而火熱起來的產業也在無時不刻地改變著人們的生活方式與生產方式，機器取代人類，解放生產力在各行各業都有著廣泛的應用。校園中的教學、管理方式也應當搭乘深度學習這一“順風車”，去改善教育工作者的工作。之前，人們去評估一名教師的教學效果，都是由專門的教學督導去各個教室巡查，這樣不僅費時費力，而且還有可能出現遺漏的狀況。現在，我們可以充分利用廣泛分布于各個教室的視頻監控系統，運用人工智能技術，來對每堂課的教學效果進行智能分析，充分利用現有的設備資源。因此，如何利用人工智能和機器視覺技術并結合校園內廣泛分布的監控設備進行智能分析，并提供實時可靠的信息具有重要意義。

結合現有的視頻監控系統，基于目標檢測和人體姿態估計的坐姿檢測方法的提出對在校學生的教學管理工作具有特殊的解釋意義，主要可以運用于在教室中對學生姿態的檢測與定位。這包括了以下兩個方面：一方面，如果一名教師的課堂是生動有趣的，那么就足以吸引所有的學生都抬頭聽課，跟著教師的節奏走。但是，如果聽課的學生中出現了趴在課桌上走神、睡覺的情況，就可以說明這名教師的教學質量不佳，需要改善自己的教學方式。通用的方法主要可以分為基于環境布設傳感器、基于可穿戴設備和基于單人攝像頭的方法，這些方法不僅不能對多目標進行實時在線檢測，而且成本高昂，并沒有多大優勢。

發明內容

有鑒于此，本發明的目的在于提供一種基于目標檢測和人體姿態估計的坐姿檢測方法，可以對人體坐姿進行檢測并分類。

為達到上述目的，本發明提供如下技術方案：

利用卷積神經網絡CNN進行坐姿檢測，且輸入到CNN中的融合特征提取包括如下步驟：

S1：對原始圖像進行人工標注，標注信息包括包圍框Bounding Box、坐姿類別和關節點坐標；

S2：將原始圖像輸入到目標檢測網絡，利用Bounding Box信息截取出單人目標圖像；

S3：將單人目標圖像按坐姿類別進行關節點標記，再將標記的單人目標圖像輸入到卷積神經網絡，提取最后一個卷積層輸出的深度神經網絡特征作為特征I；

S4：將關節點坐標信息和Bounding Box信息輸入到多人姿態估計網絡，然后對原始圖像做多人姿態估計，并將多人姿態估計圖截取為單人人體骨架圖；

S5：將單人人體骨架圖輸入到卷積神經網絡，提取最后一個卷積層輸出的深度神經網絡特征作為特征II；

S6：將特征I和特征II進行融合。

進一步的，還包括步驟S7：將融合后的特征輸入CNN中，若融合特征來自于訓練集，則用于訓練網絡參數；若融合特征來自驗證集，則用于驗證網絡參數，并通過反向傳播算法傳遞誤差信號，更新梯度，尋找最優值，利用柔性最大激活函數Softmax做分類回歸，得到最終的分類結果和分類準確率。

進一步的，步驟S2具體包括：