[發明專利]一種基于深度學習的嬰幼兒監護系統及搭建方法

在審

• 申請號: 202210556558.2
• 申請日: 2022-05-20
• 公開（公告）號: CN115187888A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 田昶;潘宇航;黃柏翰
• 申請（專利權）人: 河海大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/82;G06N3/04;G06N3/08;G08B21/02;G08B25/08
• 代理公司: 南京千語知識產權代理事務所(普通合伙) 32394
• 代理人: 祁文彥

1.一種基于深度學習的嬰幼兒監護系統，其特征在于，包括用戶端、家庭監控攝像頭和服務器，用戶端安裝小程序，用戶能在小程序中實時查看攝像頭傳輸的視頻并設置電子圍欄的區域，家庭監控攝像頭有多個，分別設置在嬰幼兒活動區域，服務器中安裝有Hi3516DV300開發板，開發板中存儲YOLOV3模型和相應代碼；家庭監控攝像頭實時將監控視頻傳輸至服務器中，服務器根據用戶設置的電子圍欄的區域，判斷嬰幼兒是否超出電子圍欄的區域，如果超出，會向用戶端發送短信消息提醒。

2.一種基于權利要求1所述基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，包括如下步驟：

步驟1：選取多個場景，使用懸掛式攝像頭或手機錄像裝置進行嬰兒視頻數據采集；

步驟2：對步驟1采集到視頻數據進行幀截取和篩選，人為對數據集中每個圖像的嬰兒頭部和身體部位進行框選標注，并對標注后的數據集進行劃分，劃分為訓練集與驗證集；

步驟3：將步驟2中的訓練集與驗證集放入Pytorch平臺搭建的YOLOV3網絡分別進行訓練與驗證；

步驟4：將訓練后得到的模型進行測試，觀察模型表現，分析缺陷原因，有針對性的增添數據集；

步驟5：將步驟4得到的具有較高魯棒性的Pytorch模型進行模型轉換，轉換為caffe模型；

步驟6：將步驟5得到的浮點數的yolov3.caffemodel進行INT8量化，生成硬件可使用的wk文件，并驗證模型精度，將模型和相應代碼導入Hi3516DV300開發板中；

步驟7：搭建服務器，在Hi3516DV300中編寫短信發送程序；

步驟8：開發小程序與服務器連接，通過服務器與Hi3516DV300通信，傳輸實時視頻數據，且客戶能在小程序設置電子圍欄的區域；

步驟9、模型預測的后處理以及判斷越界，短信報警。

3.根據權利要求2所述的一種基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，步驟1所述場景包括：白天嬰兒床場景、白天客廳場景、白天戶外場景、夜晚嬰兒床場景和幼兒佩戴口罩場景。

4.根據權利要求3所述的一種基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，所述步驟2具體包括：使用ffmpeg工具對視頻數據進行幀截取，設置為1秒截取1幀，篩選截取得到的圖片，若圖片出現無嬰兒目標、圖片模糊、鄰近圖像變化不大或人為難以判定的情況，則刪去，其他圖片保留作為數據集；使用labelimg工具對圖片進行框選標注，標注目標有兩個，嬰兒頭部與嬰兒全身；標注完畢后，將數據集按照9:1的比例劃分訓練集和驗證集。

5.根據權利要求4所述的一種基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，所述步驟3具體包括：設置圖像傳入的大小為416×416，指定凍結訓練50輪次，解凍訓練150輪次。

6.根據權利要求5所述的一種基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，所述步驟4具體包括：將訓練生成的模型運用在上述不同環境下進行檢測，若在某一環境下表現不佳，則增大該環境的數據集，再次訓練，重復多次。

7.根據權利要求6所述的一種基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，所述步驟5具體包括：將步驟4訓練好的pth文件和模型運用export方法生成onnx模型，再在Ubuntu配置好的環境下用onnx2caffe工具包將其轉化生成YOLOV3.caffemodel與YOLOV3.prototxt。

8.根據權利要求7所述的一種基于深度學習的嬰幼兒監護系統的搭建方法，其特征在于，所述步驟6具體包括：將步驟5轉化出的caffemodel文件與cfg文件置入RuyiStudio中量化成uint模型，生成Hi3516DV300硬件所需的wk文件，測試模型精度,精度下降小于0.5％，即在容許范圍內，將程序燒入開發板中。