[發明專利]一種基于視頻的嬰幼兒智能看護系統及方法

在審

• 申請號: 201910957131.1
• 申請日: 2019-10-10
• 公開（公告）號: CN110852165A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 劉昱;孫景林
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

本發明公開了一種基于視頻的嬰幼兒智能看護系統及方法，該系統中至少設置有攝像頭模塊、網絡傳輸模塊、視頻分析處理模塊和客戶端應用模塊。步驟1、采用Facenet深度學習模型進行人臉檢測，檢測目標圖像中是否存在人臉；步驟2、當檢測到存在目標人臉時，啟動人臉關鍵點檢測進行人臉定位；步驟3、當檢測到人臉位置時，將人臉位置信息發到給人臉關鍵點檢測模塊，關鍵點檢測模塊將會循環檢測人臉關鍵點的位置并對人臉位置進行實時跟蹤，關鍵點檢測采用Facenet模型進行檢測，根據關鍵點的位置計算的面積大小來判定，來識別眼睛、嘴巴的張合程度達到面部表情識別的目的。本發明能夠將相應的提醒消息推送到家長端，方便可靠地實現了實時的嬰幼兒智能看護。

技術領域

本發明涉及一種視頻分析技術領域，具體涉及一種基于視頻分析技術的嬰幼兒智能看護方法。

背景技術

嬰幼兒的生理和心理發育不成熟，很難表達自己的情感和想法，因此需要家長給予時時刻刻的關懷和照顧。但是受各種外界環境的影響，同時家長的精力和時間有限，不可能時時刻刻都能在嬰幼兒身邊。比如家長可能會趁著嬰幼兒處于睡眠狀態的時候，做一些自己的事情，但是如果嬰幼兒醒了，會渴望家長在身邊，可能會哭泣；另一方面，嬰幼兒的大小便是一個很值得家長留心的問題，如果家長沒有意識到嬰幼兒的大小便的發生，時間久了，可能會導致嬰幼兒屁股出現紅腫或者瘡傷等不健康的癥狀。

現有的一些嬰幼兒看護系統，主要是通過各種各樣的傳感器(比如視頻、聲音、溫度、濕度等多種傳感器)對嬰幼兒進行監控，這樣使得看護系統臃腫不堪，而本方案主要是通過視頻處理技術來實現對嬰幼兒當前狀態或者表情的判斷，記錄下嬰幼兒的精彩瞬間，并且當嬰幼兒情緒有較大的波動時對家長進行遠程提醒，同時，通過面部狀態的變化分析出嬰幼兒便溺時刻，以提醒家長盡快檢查與更換嬰幼兒衣物等。

發明內容

本發明旨在提出一種基于視頻處理技術的智能看護系統及方法，旨在僅通過視頻分析處理實現對嬰幼兒當前狀態或者面部表情的判斷，從而協助嬰幼兒家長實現對嬰幼兒更好的看護。

本發明的一種基于視頻的嬰幼兒智能看護系統，該系統中至少設置有攝像頭模塊、網絡傳輸模塊、視頻分析處理模塊和客戶端應用模塊；其中：

所述攝像頭模塊，用以采集嬰幼兒臉部視頻圖像；

所述視頻處理模塊，用以提取視頻圖像中嬰幼兒臉部特征，分析判斷嬰幼兒面部表情，從而判斷出嬰幼兒當前狀態或者判斷嬰幼兒是否處于便溺狀態等，所述嬰幼兒面部表情識別結果若為哭泣或便秘狀態，發送警報到客戶端模塊；

所述網絡傳輸模塊，用以通過Internet實現視頻信號或者警告信號的實時傳輸。

所述客戶端應用模塊，安裝在智能移動設備中的應用程序，用于查看嬰幼兒實時動態或者接收相關的提醒推送等；所述提醒推送主要是嬰幼兒實時動態信息；

所述視頻處理模塊還包括關鍵點分析模塊，用于循環檢測人臉關鍵點的位置并對人臉位置進行實時跟蹤。

本發明的一種基于視頻的嬰幼兒智能看護方法，該方法具體包括以下流程：

步驟1、采用Facenet深度學習模型進行人臉檢測，檢測目標圖像中是否存在人臉；

步驟2、當檢測到存在目標人臉時，啟動人臉關鍵點檢測進行人臉定位，實現人臉關鍵點對齊；所述關鍵點至少包括眼眉、眼睛、鼻子、嘴巴、下巴這些臉部基本輪廓的數據；

步驟3、當檢測到人臉位置時，將人臉位置信息發到給人臉關鍵點檢測模塊，關鍵點檢測模塊將會循環檢測人臉關鍵點的位置并對人臉位置進行實時跟蹤，關鍵點檢測采用Facenet模型進行檢測，根據關鍵點的位置計算的面積大小來判定，來識別眼睛、嘴巴的張合程度，具體為：通過對二值化之后嬰幼兒眼睛和嘴巴的面積的提取，以面積大小來代表所識別到的眼睛、嘴巴的張合程度；深度模型在訓練時，采用跟蹤的方式增加視頻序列圖像的訓練數據，增強訓練數據在時間位移上的關聯性。