[發(fā)明專利]一種基于視頻的嬰幼兒智能看護(hù)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910957131.1
• 申請(qǐng)日: 2019-10-10
• 公開（公告）號(hào): CN110852165A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 劉昱;孫景林
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李素蘭

1.一種基于視頻的嬰幼兒智能看護(hù)系統(tǒng)，特征在于，該系統(tǒng)中至少設(shè)置有攝像頭模塊、網(wǎng)絡(luò)傳輸模塊、視頻分析處理模塊和客戶端應(yīng)用模塊；其中：

所述攝像頭模塊，用以采集嬰幼兒臉部視頻圖像；

所述視頻處理模塊，用以提取視頻圖像中嬰幼兒臉部特征，分析判斷嬰幼兒面部表情，從而判斷出嬰幼兒當(dāng)前狀態(tài)或者判斷嬰幼兒是否處于便溺狀態(tài)等，所述嬰幼兒面部表情識(shí)別結(jié)果若為哭泣或便秘狀態(tài)，發(fā)送警報(bào)到客戶端模塊；

所述網(wǎng)絡(luò)傳輸模塊，用以通過Internet實(shí)現(xiàn)視頻信號(hào)或者警告信號(hào)的實(shí)時(shí)傳輸。

所述客戶端應(yīng)用模塊，安裝在智能移動(dòng)設(shè)備中的應(yīng)用程序，用于查看嬰幼兒實(shí)時(shí)動(dòng)態(tài)或者接收相關(guān)的提醒推送等；所述提醒推送主要是嬰幼兒實(shí)時(shí)動(dòng)態(tài)信息；

所述視頻處理模塊還包括關(guān)鍵點(diǎn)分析模塊，用于循環(huán)檢測(cè)人臉關(guān)鍵點(diǎn)的位置并對(duì)人臉位置進(jìn)行實(shí)時(shí)跟蹤。

2.一種基于視頻的嬰幼兒智能看護(hù)方法，其特征在于，該方法具體包括以下流程：

步驟1、采用Facenet深度學(xué)習(xí)模型進(jìn)行人臉檢測(cè)，檢測(cè)目標(biāo)圖像中是否存在人臉；

步驟2、當(dāng)檢測(cè)到存在目標(biāo)人臉時(shí)，啟動(dòng)人臉關(guān)鍵點(diǎn)檢測(cè)進(jìn)行人臉定位，實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)對(duì)齊；所述關(guān)鍵點(diǎn)至少包括眼眉、眼睛、鼻子、嘴巴、下巴這些臉部基本輪廓的數(shù)據(jù)；

步驟3、當(dāng)檢測(cè)到人臉位置時(shí)，將人臉位置信息發(fā)到給人臉關(guān)鍵點(diǎn)檢測(cè)模塊，關(guān)鍵點(diǎn)檢測(cè)模塊將會(huì)循環(huán)檢測(cè)人臉關(guān)鍵點(diǎn)的位置并對(duì)人臉位置進(jìn)行實(shí)時(shí)跟蹤，關(guān)鍵點(diǎn)檢測(cè)采用Facenet模型進(jìn)行檢測(cè)，根據(jù)關(guān)鍵點(diǎn)的位置計(jì)算的面積大小來判定，來識(shí)別眼睛、嘴巴的張合程度，具體為：通過對(duì)二值化之后嬰幼兒眼睛和嘴巴的面積的提取，以面積大小來代表所識(shí)別到的眼睛、嘴巴的張合程度；深度模型在訓(xùn)練時(shí)，采用跟蹤的方式增加視頻序列圖像的訓(xùn)練數(shù)據(jù)，增強(qiáng)訓(xùn)練數(shù)據(jù)在時(shí)間位移上的關(guān)聯(lián)性。

3.如權(quán)利要求2所述的一種基于視頻的嬰幼兒智能看護(hù)方法，其特征在于，所述步驟2中，所述眼睛、嘴巴的張合程度包括以下識(shí)別結(jié)果：

眼睛緊閉，嘴巴張大，為哭泣狀態(tài)；

眼睛睜大，嘴巴張大，為高興狀態(tài)；

眼睛睜開，嘴巴閉合，為正常狀態(tài)；

眼睛閉合，嘴巴閉合，為睡眠狀態(tài)；

眉頭緊鎖，面部漲紅，為便秘狀態(tài)，眉頭舒展，臉色恢復(fù)正常，為便秘過程結(jié)束。