[發明專利]基于深度學習的幼兒早教圖像識別系統

在審

• 申請號: 202210188488.X
• 申請日: 2022-02-28
• 公開（公告）號: CN114638338A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 夏海英;張致鑫;陸智韋彬;吳波;黃嘉琪;梁鐘;黃芷錕
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V30/40;G10L13/02;H04L67/02
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

1.一種基于深度學習的幼兒早教圖像識別系統，其特征在于，包括若干個客戶端、服務器和圖像描述網絡，每個所述客戶端采集圖片信息傳輸給所述服務器，所述客戶端與所述服務器間通過HTTP協議進行數據通信，所述服務器將圖像信息輸入所述圖像描述網絡處理，并將處理后的信息返回給所述客戶端；

每個所述客戶端包括攝像頭、揚聲器、屏幕和APP安卓端，所述攝像頭負責采集圖像數據并送到所述APP安卓端，所述APP安卓端負責與服務器傳輸數據，所述屏幕顯示處理后的文本信息，所述揚聲器播報文本信息轉換的語音信息。

2.如權利要求1所述的基于深度學習的幼兒早教圖像識別系統，其特征在于，

所述圖像描述網絡包括Resnet-101網絡和長短期記憶網絡，所述Resnet-101網絡對輸入圖像進行編碼，所述長短期記憶網絡負責解碼以及生成輸出字幕。

3.如權利要求2所述的基于深度學習的幼兒早教圖像識別系統，其特征在于，

所述圖像描述網絡的信息處理流程具體為先輸入一張圖片，圖片經過Resnet-101網絡獲得一組特征向量，特征向量再輸入到注意力模型中，注意力模型通過動態地重新加權輸入空間特征，以在每個時間步集中于圖像的特定區域，然后將注意力衍生圖像特征輸入到長短期記憶網絡中，接著所述長短期記憶網絡會根據上下文向量、之前的隱藏狀態和之前生成的單詞，在每個時間步驟生成一個單詞，從而生成標題。

4.如權利要求2所述的基于深度學習的幼兒早教圖像識別系統，其特征在于，

所述Resnet-101網絡包括101層網絡，編碼過程中不對圖像進行縮放或裁剪，最后輸出2048維的向量。

5.如權利要求2所述的基于深度學習的幼兒早教圖像識別系統，其特征在于，

所述長短期記憶網絡中的記憶塊包括輸入門、輸出門、遺忘門和記憶單元，所述記憶單元用于保存信息，所述輸入門負責決定每一時刻是否有信息輸入到記憶單元，所述輸出門決定每一時刻是否有信息從記憶單元輸出，所述遺忘門決定記憶單元中的信息是否會被清除。

6.如權利要求1所述的基于深度學習的幼兒早教圖像識別系統，其特征在于，

所述基于深度學習的幼兒早教圖像識別系統通過TTS語音合成技術實現語音的播報。