[發(fā)明專利]一種基于深度學(xué)習(xí)的嬰幼兒監(jiān)護(hù)系統(tǒng)及搭建方法

在審

• 申請?zhí)枺?/td>: 202210556558.2
• 申請日: 2022-05-20
• 公開（公告）號: CN115187888A
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 田昶;潘宇航;黃柏翰
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/82;G06N3/04;G06N3/08;G08B21/02;G08B25/08
• 代理公司: 南京千語知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32394
• 代理人: 祁文彥

本發(fā)明公開了一種基于深度學(xué)習(xí)的嬰幼兒監(jiān)護(hù)系統(tǒng)及搭建方法，本發(fā)明采集多個(gè)場景環(huán)境下的嬰兒圖像數(shù)據(jù)，在“邊驗(yàn)證，邊訓(xùn)練”的模式下訓(xùn)練出高魯棒性的YOLOV3模型，能在較復(fù)雜的環(huán)境準(zhǔn)確定位嬰兒頭部與主體的位置，能與小程序通信傳輸視頻數(shù)據(jù)與電子圍欄數(shù)據(jù)以及報(bào)警提示。用戶可以自定義虛擬的圍欄邊界，通過檢測主體是否逾越虛擬邊界來進(jìn)行提示報(bào)警，降低事故的可能性，同時(shí)報(bào)警具有高可靠性，可有效緩解家長們的頻繁收到提示的焦慮。本發(fā)明所述監(jiān)護(hù)系統(tǒng)能準(zhǔn)確、針對性的對嬰幼兒活動進(jìn)行監(jiān)護(hù)，且不受夜晚環(huán)境、成人陪護(hù)場景干擾。本發(fā)明所述監(jiān)護(hù)系統(tǒng)是用較為輕量的網(wǎng)絡(luò)檢測嬰兒坐標(biāo)，直接進(jìn)行是否越界的判斷，更符合嵌入式的算力以及更好的泛用性。

技術(shù)領(lǐng)域

本發(fā)明涉及嬰幼兒監(jiān)護(hù)技術(shù)領(lǐng)域，具體為一種基于深度學(xué)習(xí)的嬰幼兒監(jiān)護(hù)系統(tǒng)及搭建方法。

背景技術(shù)

現(xiàn)有監(jiān)護(hù)攝像頭不能良好區(qū)分成人與嬰兒，導(dǎo)致誤報(bào)警、誤提示，由于報(bào)警提示需要具有準(zhǔn)確性、有效性，因此，監(jiān)護(hù)系統(tǒng)需要針對性的識別出嬰幼兒，不識別成人，在家長出入電子圍欄時(shí)不提出報(bào)警，因此，需要一種針對性的智能監(jiān)護(hù)系統(tǒng)幫助家長輔助監(jiān)護(hù)嬰兒。

房凱.基于深度學(xué)習(xí)的圍欄跨越行為檢測方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2021,30(2)：147-153提出了一種圍欄跨越行為檢測方法，該方法主要通過深度學(xué)習(xí)對行為進(jìn)行分類，判斷出一個(gè)行為是否是跨越行為，該深度學(xué)習(xí)模型需要圖像的信息以及時(shí)序的信息，對行為進(jìn)行分類判斷，因此模型是十分龐大的，目前僅適用于計(jì)算機(jī)上運(yùn)行，不適用于嵌入式系統(tǒng)，且算法本身適用于較有明顯區(qū)分的動作，如成人的跨越，不適用于動作類型少的嬰幼兒，例如嬰幼兒爬行到危險(xiǎn)區(qū)，是難以用行為進(jìn)行報(bào)警判斷的。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)不適用于嵌入式系統(tǒng)、因算法局限性難以用行為進(jìn)行報(bào)警判斷的問題，本發(fā)明提出一種基于深度學(xué)習(xí)的嬰幼兒監(jiān)護(hù)系統(tǒng)，硬件部分由Hi3516DV300和sony攝像頭以及Hi3861組成。本發(fā)明采集多個(gè)場景環(huán)境下的嬰兒圖像數(shù)據(jù)，在“邊驗(yàn)證，邊訓(xùn)練”的模式下訓(xùn)練出高魯棒性的YOLOV3模型，能在較復(fù)雜的環(huán)境準(zhǔn)確定位嬰兒頭部與主體的位置，能與小程序通信傳輸視頻數(shù)據(jù)與電子圍欄數(shù)據(jù)以及報(bào)警提示。用戶可以自定義虛擬的圍欄邊界，通過檢測主體是否逾越虛擬邊界來進(jìn)行提示報(bào)警，降低事故的可能性，同時(shí)報(bào)警具有高可靠性，可有效緩解家長們的頻繁收到提示的焦慮。

本發(fā)明具體采用如下的技術(shù)方案：

一種基于深度學(xué)習(xí)的嬰幼兒監(jiān)護(hù)系統(tǒng)，包括用戶端、家庭監(jiān)控?cái)z像頭和服務(wù)器，用戶端安裝小程序，用戶能在小程序中實(shí)時(shí)查看攝像頭傳輸?shù)囊曨l并設(shè)置電子圍欄的區(qū)域，家庭監(jiān)控?cái)z像頭有多個(gè)，分別設(shè)置在嬰幼兒活動區(qū)域，服務(wù)器中安裝有Hi3516DV300開發(fā)板，開發(fā)板中存儲YOLOV3模型和相應(yīng)代碼；家庭監(jiān)控?cái)z像頭實(shí)時(shí)將監(jiān)控視頻傳輸至服務(wù)器中，服務(wù)器根據(jù)用戶設(shè)置的電子圍欄的區(qū)域，判斷嬰幼兒是否超出電子圍欄的區(qū)域，如果超出，會向用戶端發(fā)送短信消息提醒。

一種基于深度學(xué)習(xí)的嬰幼兒監(jiān)護(hù)系統(tǒng)的搭建方法，包括如下步驟：

步驟1：選取多個(gè)場景，使用懸掛式攝像頭或手機(jī)錄像裝置進(jìn)行嬰兒視頻數(shù)據(jù)采集；

步驟2：對步驟1采集到視頻數(shù)據(jù)進(jìn)行幀截取和篩選，人為對數(shù)據(jù)集中的每個(gè)圖像的嬰兒的頭部和身體部位進(jìn)行框選標(biāo)注，并對標(biāo)注后的數(shù)據(jù)集進(jìn)行劃分，劃分為訓(xùn)練集與驗(yàn)證集；

步驟3：將步驟2中的訓(xùn)練集與驗(yàn)證集放入Pytorch平臺搭建的YOLOV3網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練與驗(yàn)證；

步驟4：將訓(xùn)練后得到的模型進(jìn)行測試，觀察模型表現(xiàn)，分析缺陷原因，有針對性的增添數(shù)據(jù)集；

步驟5：將步驟4得到的具有較高魯棒性的Pytorch模型進(jìn)行模型轉(zhuǎn)換，轉(zhuǎn)換為caffe模型；

步驟6：將步驟5得到的浮點(diǎn)數(shù)的yolov3.caffemodel進(jìn)行INT8量化，生成硬件可使用的wk文件，并驗(yàn)證模型精度，將模型和相應(yīng)代碼導(dǎo)入Hi3516DV300開發(fā)板中；