[發明專利]一種分析方法及裝置

有效

• 申請號: 201911307576.1
• 申請日: 2019-12-18
• 公開（公告）號: CN110728604B
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 李小波;張剛強
• 申請（專利權）人: 恒信東方文化股份有限公司
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06F16/9535;G06K9/00;G06K9/62
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 陳變花

1.一種分析方法，其特征在于，包括如下步驟：

采集視頻畫面并捕捉兒童表情動作圖像；視頻畫面包括節目播放環節的節目畫面、互動環節的互動畫面和問答環節的提問畫面，兒童表情動作圖像包括兒童在節目播放環節、互動環節和問答環節的表情動作圖像；

從捕捉到的表情動作圖像中識別兒童在觀看節目及回答問題時的面部表情及肢體動作，將識別出的面部表情和肢體動作轉化為對應的表情動作標簽；

運用聚類分析算法對采集的視頻畫面、表情動作標簽以及兒童基礎信息進行聚合分析，得到多元智能發展分析結果；

根據多元智能發展分析結果自動選取兒童薄弱項相關的課程或節目；

采集的節目播放環節的節目畫面、互動環節的互動畫面和問答環節的提問畫面作為日志信息存儲至日志中；運用聚類分析算法對收集的日志信息、表情動作標簽以及兒童基礎信息進行聚合分析，得到多元智能發展分析結果，具體包括如下子步驟：

對日志信息、表情動作標簽以及兒童基礎信息進行關鍵詞的提取和篩選，計算每個關鍵詞在文本集合中的權重值，得到權重值集合；

將獲取到的權重值集合輸入聚類分析模型中，對兒童信息進行聚類分析，輸出包括多種智能發展方向的多元智能發展分析結果；

將多元智能分析結果以圖表形式進行展示；

所述對兒童信息進行聚類分析，具體包括：

對權重值集合進行初步聚類，將初步聚類后的權重集根據相似度生成拉普拉斯矩陣，并計算其特征值和特征向量；根據特征值間隔確定聚類數及其表示矩陣，對聚類數和表示矩陣進行二次聚類；對二次聚類結果進行K-means聚類算法進行迭代求解，得到最終的多元智能發展分析結果。

2.如權利要求1所述的分析方法，其特征在于，采集視頻畫面并捕捉兒童表情動作圖像，具體包括如下子步驟：

當接收到截屏指令后，根據當前播放節目制式確定要分配的截屏圖像的截屏存儲區大小；

在視頻播放及互動過程中，每間隔預設時長通過拍攝裝置捕捉兒童表情動作圖像；

記錄捕捉兒童表情動作圖像的時刻，并按照捕捉時刻確定截屏時刻，根據截屏時刻從視頻畫面中查找對應時間的播放畫面；

將捕捉的兒童表情動作圖像與對應截屏的播放畫面存儲在分配的截屏存儲區中。

3.如權利要求1所述的分析方法，其特征在于，從捕捉到的表情動作圖像中識別兒童在觀看節目及回答問題時的面部表情及肢體動作，將識別出的面部表情和肢體動作轉化為對應的表情動作標簽，具體包括如下子步驟：

構建并訓練基于卷積神經網絡的情緒識別模型和動作識別模型；

將捕捉到的兒童表情圖像輸入情緒識別模型中，輸出表情標簽；

將捕捉到的兒童動作圖像輸入動作識別模型中，輸出動作標簽；

其中將輸出的表情標簽和動作標簽合稱為表情動作標簽。

4.如權利要求1所述的分析方法，其特征在于，預先為每種智能發展方向設定一定數量的課程和節目，作為預存的課程和節目，當識別出兒童最薄弱的智能發展方向后，從預存的課程和節目中隨機選取進行播放，然后重復執行采集視頻畫面和捕捉兒童表情動作圖像過程。