[發明專利]基于深度學習的幼兒早教圖像識別系統

在審

• 申請號: 202210188488.X
• 申請日: 2022-02-28
• 公開（公告）號: CN114638338A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 夏海英;張致鑫;陸智韋彬;吳波;黃嘉琪;梁鐘;黃芷錕
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V30/40;G10L13/02;H04L67/02
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

本發明涉及深度學習技術領域，尤其涉及一種基于深度學習的幼兒早教圖像識別系統，用戶只需要通過客戶端拍照上傳完成圖像識別，采集到的圖像經過服務器傳入圖像描述網絡，經過卷積神經網絡快速提取圖像特征，再由注意力機制提取圖像中重要的細節而舍去一些無關的信息，采用循環神經網絡生成文本描述反饋給客戶端，并通過TTS語音合成技術實現語音的播報，傳遞給孩子的信息更加多元、豐富、具體，其打破了傳統的學習模式，除此之外用戶還可以根據自己的需要自主采集和預設圖片，更為靈活方便。

技術領域

本發明涉及深度學習技術領域，尤其涉及一種基于深度學習的幼兒早教圖像識別系統。

背景技術

隨著人們經濟水平的不斷提高，越來越多的人開始重視對孩子早期教育的培養。早教有很多種方式，除去將孩子送去幼兒園等早教機構之外，孩子在家的業余時間也是學習新知識的黃金時刻。目前市場的早教產品主要有兩大類：(1)識物卡片。許多家長希望通過識物卡片來培養孩子認識事物的能力，但卡片存在較大的局限性：一是卡片能夠傳達給孩子信息太少，卡片上的事物都比較單一刻板，不貼近生活，孩子學到的東西比較有限；二是卡片的實用性不高。卡片內容的單調無趣會使得孩子很快就失去新鮮感，容易厭倦并丟棄；三是卡片的內容大多是靜態的圖片，需要父母陪同孩子去認知，而大部分時間父母缺少時間陪伴。(2)幼兒識物APP。目前市場大多數的識物APP制作界面復雜不利于孩子獨立操作，且照搬了識物卡片的模式，與識物卡片大同小異。

發明內容

本發明的目的在于提供一種基于深度學習的幼兒早教圖像識別系統，避免了現有的早教產品中的實物產品內容單調無法擴展，而軟件產品界面復雜不易操作的技術問題。

為實現上述目的，本發明提供了一種基于深度學習的幼兒早教圖像識別系統，包括若干個客戶端、服務器和圖像描述網絡，每個所述客戶端采集圖片信息傳輸給所述服務器，所述客戶端與所述服務器間通過HTTP協議進行數據通信，所述服務器將圖像信息輸入所述圖像描述網絡處理，并將處理后的信息返回給所述客戶端；

每個所述客戶端包括攝像頭、揚聲器、屏幕和APP安卓端，所述攝像頭負責采集圖像數據并送到所述APP安卓端，所述APP安卓端負責與服務器傳輸數據，所述屏幕顯示處理后的文本信息，所述揚聲器播報文本信息轉換的語音信息。

其中，所述圖像描述網絡包括Resnet-101網絡和長短期記憶網絡，所述Resnet-101網絡對輸入圖像進行編碼，所述長短期記憶網絡負責解碼以及生成輸出字幕。

其中，所述圖像描述網絡的信息處理流程具體為先輸入一張圖片，圖片經過Resnet-101網絡獲得一組特征向量，特征向量再輸入到注意力模型中，注意力模型通過動態地重新加權輸入空間特征，以在每個時間步集中于圖像的特定區域，然后將注意力衍生圖像特征輸入到長短期記憶網絡中，接著所述長短期記憶網絡會根據上下文向量、之前的隱藏狀態和之前生成的單詞，在每個時間步驟生成一個單詞，從而生成標題。

其中，所述Resnet-101網絡包括101層網絡，編碼過程中不對圖像進行縮放或裁剪，最后輸出2048維的向量。

其中，所述長短期記憶網絡中的記憶塊包括輸入門、輸出門、遺忘門和記憶單元，所述記憶單元用于保存信息，所述輸入門負責決定每一時刻是否有信息輸入到記憶單元，所述輸出門決定每一時刻是否有信息從記憶單元輸出，所述遺忘門決定記憶單元中的信息是否會被清除。

其中，所述基于深度學習的幼兒早教圖像識別系統通過TTS語音合成技術實現語音的播報。

本發明提供了一種基于深度學習的幼兒早教圖像識別系統，用戶只需要通過客戶端拍照上傳完成圖像識別，采集到的圖像經過服務器傳入圖像描述網絡，經過卷積神經網絡快速提取圖像特征，再由注意力機制提取圖像中重要的細節而舍去一些無關的信息，采用循環神經網絡生成文本描述反饋給客戶端，并通過TTS語音合成技術實現語音的播報，傳遞給孩子的信息更加多元、豐富、具體，其打破了傳統的學習模式，除此之外用戶還可以根據自己的需要自主采集和預設圖片，更為靈活方便。