[發明專利]一種構建情感日記和日常活動識別的系統及裝置

在審

• 申請號: 202110673859.9
• 申請日: 2021-06-17
• 公開（公告）號: CN113378733A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 張淵;黃龍青;范琳虹
• 申請（專利權）人: 杭州海亮優教教育科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種構建情感日記和日常活動識別的系統，包括捕捉系統、識別系統和顯示系統，其特征在于：捕捉系統用于抓取人臉圖像、人物行為或者視頻，并傳輸給識別系統；識別系統包括情緒識別系統和日常監測系統。

2.根據權利要求1所述的一種構建情感日記和日常活動識別的系統，其特征在于：情緒識別系統包括情緒識別模塊、情緒記錄模塊和情感日記構建模塊；情緒識別模塊包括基于深度學習框架訓練的人臉圖像訓練情緒檢測模型和CNN卷積神經網絡；情緒檢測模型將人臉圖像標注對應的情緒；CNN卷積神經網絡可通過識別人臉圖像，輸出各種情緒的softmax列表，并顯示得分最高的情緒狀態。

3.根據權利要求2所述的一種構建情感日記和日常活動識別的系統，其特征在于：情緒記錄模塊持續記錄情緒識別模塊輸出的情緒狀態，并傳輸給情感日記構建模塊，構建并輸出情感日記。

4.根據權利要求1所述的一種構建情感日記和日常活動識別的系統，其特征在于：日常監測系統包括行為分析模塊、行為記錄模塊、監測與異常反饋模塊；行為分析模塊包括基于行為數據集預訓練和序列化的行為識別模型和基于人類識別參數和圖像分類數據集完成深度學習的用于活動識別的時空組件，其識別圖像或視頻人物行為，并輸出行為名稱。

5.根據權利要求4所述的一種構建情感日記和日常活動識別的系統，其特征在于：行為記錄模塊持續記錄行為分析模塊輸出的人物行為，并傳輸給監測與異常反饋模塊。

6.根據權利要求5所述的一種構建情感日記和日常活動識別的系統，其特征在于：監測與異常反饋模塊對人物行為與預設行為進行對比，若符合預設行為，系統僅進行記錄，若不符合預設行為，行為記錄模塊進行記錄，并反饋異常。

7.根據權利要求1~6中所述的任意一種構建情感日記和日常活動識別的系統，其特征在于：顯示系統接收識別系統輸出的情緒狀態、情感日記、日常行為及異常反饋等信息。

8.一種構建情感日記和日常活動識別的裝置，包括捕捉裝置、識別裝置和顯示裝置，其特征在于：包括權利要求1~7中所述的任意一種構建情感日記和日常活動識別的系統。

9.根據權利要求8所述的一種構建情感日記和日常活動識別的系統，其特征在于：其中捕捉裝置用于捕捉人臉圖像、行為動作圖像或行為視頻，優選攝像頭或者攝像機；識別裝置包括情緒識別裝置和日常監測裝置。

10.根據權利要求9所述的一種構建情感日記和日常活動識別的系統，其特征在于：情緒識別裝置用于處理捕捉裝置抓取的圖像，并反饋結果；日常監測裝置用于處理捕捉裝置抓取的圖像或視頻，并作出反饋和判斷；日常監測裝置包括異常反饋裝置，優選自動編碼器；顯示裝置用于輸出情緒記錄、情感日記、人物行為、異常反饋等結果，優選顯示屏。