[發明專利]基于人工智能的幼稚園兒童精彩時刻視頻智能生成方法

在審

• 申請號: 202111112972.6
• 申請日: 2021-09-23
• 公開（公告）號: CN113792694A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 朱為;徐新文;涂丹;汪彥明;曹正午;謝志恒;徐東;胡青霞;王濤;鄭冰
• 申請（專利權）人: 長沙鵬陽信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 長沙歐諾專利代理事務所(普通合伙) 43234
• 代理人: 歐穎;張文君

1.一種基于人工智能的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，包括以下步驟：

S1、布置精彩視頻采集系統；所述精彩視頻采集系統包括多個攝像頭和后臺處理計算機，多個所述攝像頭分別安裝在幼稚園內的不同位置處，所述后臺處理計算機用于接收多個所述攝像頭采集的視頻數據；

S2、開啟各所述攝像頭的人臉捕捉功能，對人臉抓拍和對運動人臉進行軌跡跟蹤；

S3、進行身份識別：根據事先準備的幼稚園師生的人臉數據集，對捕捉到的人臉圖像進行身份識別，并記錄下該張人臉圖像出現的時刻信息至后臺數據庫；

S4、對每個學生進行精彩時刻檢測，形成每個學生的精彩視頻；

S5、對全體學生進行精彩時刻檢測，形成學生集體活動或學習的精彩視頻；

S6、根據后臺數據庫配置的信息，將生成的每個學生的精彩視頻，自動發送至該學生家長的手機上，將生成的學生集體活動或學習的精彩視頻發布在班級的主頁上，并將其鏈接分享給家長。

2.根據權利要求1所述的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，所述步驟S2中，后臺處理計算機用于實時人臉檢測和人臉運動軌跡跟蹤功能，人臉檢測算法采用基于深度學習的人臉檢測算法，檢測出人臉后，采用基于卡爾曼濾波的方法進行運動人臉跟蹤。

3.根據權利要求1所述的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，所述步驟S3中，將捕捉到的人臉與后臺數據庫進行對比，識別出每個人臉的身份信息；所述后臺人臉數據庫中記錄了每個師生的正面上下左右中至少5張圖像。

4.根據權利要求1所述的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，所述步驟S4中，針對每個學生，從后臺數據庫中調出其人臉出現的時刻表，進行隨機或均勻采樣找出其人臉出現的n個時刻點，識別其表情，然后找出每個時刻點前后各5秒鐘的視頻，分別形成10秒鐘的精彩視頻片段。

5.根據權利要求4所述的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，學生的精彩時刻包括學生表現出高興、悲傷、恐懼、憤怒或安靜情緒或表情的狀態；采用表情識別方法檢測學生的表情，同時整合同一時刻檢測到同一人臉的多個攝像機拍攝到的視頻數據，形成每個學生的精彩視頻片段。

6.根據權利要求5所述的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，形成每個學生的精彩視頻片段的做法包括：

(1)、準備學生表情分類數據集；

(2)、采用深度卷積神經網絡將人臉表情特征提取與表情分類融合到一個end-to-end的網絡中；

(3)、采用深度卷積神經網絡的訓練結果分類識別學生的每張人臉的表情，并根據視頻拍攝的時間戳，檢索相同時刻下是否存在其他攝像機拍攝到同一人臉，若存在多于一個攝像機同時拍攝到某個學生的精彩時刻，則分別將多個攝像機拍攝的片段進行并行縮放排列，即最后生成的精彩時刻視頻包含多個并行排列的對同一場景拍攝的不同角度的視頻。

7.根據權利要求1所述的幼稚園兒童精彩時刻視頻智能生成方法，其特征在于，所述步驟S5中，對全體學生進行精彩時刻檢測具體為：抽樣采集集體活動的視頻圖像，且所述視頻圖像中檢測出來的人臉數目不少于20個，對檢測出來的每張人臉進行表情識別，并由所有表情標簽的投票多少來確定整體的表情屬性，最后將該時刻前后各5秒鐘的視頻剪輯形成10秒鐘的精彩視頻片段。