[發明專利]基于計算機視覺的幼師體罰小孩行為檢測方法

在審

• 申請號: 202010957754.1
• 申請日: 2020-09-12
• 公開（公告）號: CN112084966A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 李小紅;孫猛猛
• 申請（專利權）人: 李小紅
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06T7/246;G06T17/00;H04L29/08;G06F30/13
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于計算機視覺的幼師體罰小孩行為檢測方法，其特征是：含有以下步驟：

步驟1、構建幼兒園區域的BIM及其信息交換模塊；

步驟2、幼兒園區域布置有槍球聯動攝像頭，槍球聯動攝像頭中含有槍機攝像頭和球機攝像頭，使用槍機攝像頭進行拍攝，采集包含有幼師和小孩的圖像；

步驟3、使用目標檢測網絡對步驟2所采集到的包含有幼師和小孩的圖像進行檢測處理，獲取幼師的包圍框和小孩的包圍框，計算幼師的包圍框中心點和小孩的包圍框中心點之間的L2距離；

步驟4、當一個幼師的包圍框中心點和一個小孩的包圍框中心點之間的L2距離小于設定的閾值時，使用球機攝像頭進行拍攝，采集包含該幼師和該小孩的圖像；

步驟5、使用關鍵點檢測網絡檢測步驟4所采集到的包含該幼師和該小孩的圖像中人體的關鍵點，并對關鍵點進行坐標標注，關鍵點包括人體的頭部關鍵點、頸部關鍵點、左肩部關鍵點、右肩部關鍵點、左肘關節關鍵點、右肘關節關鍵點、左腕關節關鍵點、右腕關節關鍵點、左髖關節關鍵點、右髖關節關鍵點、左膝關節關鍵點、右膝關節關鍵點、左踝關節關鍵點、右踝關節關鍵點，將坐標標注的人體關鍵點的散點圖與高斯核卷積形成人體關鍵點熱力圖；

步驟6、將關鍵點檢測網絡輸出的人體關鍵點熱力圖進行后處理，得到人體的各個關鍵點位置；

步驟7、使用關鍵點關系矢量譜生成網絡對步驟6中所得到的人體的各個關鍵點進行數據標注，得到人體的各個關鍵點的關系譜；數據標注的內容包含各個關鍵點的位置和方向；

步驟8、結合人體的關鍵點和各個關鍵點的關系譜分別獲取該幼師和該小孩的二維骨骼關鍵點信息；

步驟9、將獲取的至少兩幀連續的該幼師的二維骨骼關鍵點信息和至少兩幀連續的該小孩的二維骨骼關鍵點信息輸入TCN網絡，經TCN網絡處理后分別得到該幼師和該小孩的三維姿態序列信息；

步驟10、使用兩個全連接層FC分別對該幼師和該小孩的三維姿態序列信息進行識別；如果該幼師的三維姿態為彎腰體罰姿態，且該小孩的三維姿態為低頭蜷縮站立姿態，則執行步驟11，否則執行步驟12；

步驟11、將檢測到的至少兩幀連續圖像中該幼師的人體關鍵點投影到幼兒園區域的BIM地面上，根據該幼師的人體關鍵點的坐標變化得到該幼師肢體的移動軌跡和移動速度；當該幼師肢體的移動速度v大于閾值V’時，則認為存在幼師體罰小孩行為；

步驟12、結束。

2.根據權利要求1所述的基于計算機視覺的幼師體罰小孩行為檢測方法，其特征是：所述步驟1中，使用Revit軟件構建幼兒園區域的BIM。

3.根據權利要求1所述的基于計算機視覺的幼師體罰小孩行為檢測方法，其特征是：所述步驟1中，信息交換模塊的信息交換形式是RESTful或MQ。

4.根據權利要求1所述的基于計算機視覺的幼師體罰小孩行為檢測方法，其特征是：所述步驟9中，TCN網絡在進行迭代訓練時使用L2損失函數。

5.根據權利要求1所述的基于計算機視覺的幼師體罰小孩行為檢測方法，其特征是：所述步驟10中，該幼師的三維姿態類別標簽數據分為兩種：1為彎腰體罰姿態，0為正常站立姿態；該小孩的三維姿態類別標簽數據同樣分為兩種：1為低頭蜷縮站立姿態，0為抬頭正常站立姿態。

6.根據權利要求1所述的基于計算機視覺的幼師體罰小孩行為檢測方法，其特征是：所述步驟11中，將檢測到的至少兩幀連續圖像中該幼師的人體的左肘關節關鍵點、右肘關節關鍵點、左腕關節關鍵點、右腕關節關鍵點、左膝關節關鍵點、右膝關節關鍵點、左踝關節關鍵點和右踝關節關鍵點投影到幼兒園區域的BIM地面上，根據每個關鍵點的坐標變化得到關鍵點對應的該幼師肢體的移動軌跡，根據相鄰幀圖像間每個關鍵點的坐標變化量和采樣時間得到該幼師肢體的移動速度v。