[發明專利]一種基于深度學習的兒童多動癥行為特征識別算法

在審

• 申請號: 202210191328.0
• 申請日: 2022-02-28
• 公開（公告）號: CN114565975A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 張云龍
• 申請（專利權）人: 安徽蘭臣信息科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V10/80;G06N3/08;G06N3/04;G06K9/62;A61B5/16;A61B5/11;A61B5/00
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 朱波

1.一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于：包括以下步驟：

步驟1：在待識別兒童動作的持續時間內，對動作圖像數據集的獲取并進行預處理；

步驟2：將步驟1中的獲取的數據集分別輸入VGG16、ResultNet50和Inception-V4卷積神經網絡進行分類識別；

步驟3：通過全局平均池化操作處理VGG16、ResultNet50和Inception-V4三個卷積神經網絡的最后一層卷積特征；

步驟4：通過特征拼接計算VGG16、ResultNet50和Inception-V4卷積神經網絡的注意力融合權重；

步驟5：通過內積操作將注意力融合權重和三個所述模型的特征值進行融合。

2.根據權利要求1所述的一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于，所述步驟3中；

對VGG16卷積神經網絡的最后一個卷積層平均池化操作處理的方法為：

x＝layers.GlobalAveragePooling2D()(x)；

對ResultNet50卷積神經網絡的最后一個卷積層平均池化操作處理的方法為：

y＝layers.GlobalAveragePooling2D()(y)；

對Inception-V4卷積神經網絡的最后一個卷積層平均池化操作處理的方法為：

z＝layers.GlobalAveragePooling2D()(z)；

其中，x表示VGG16卷積神經網絡的最后一個卷積完成后的特征向量，y表示對ResultNet50卷積神經網絡的最后一個完成后的特征向量，z表示對Inception-V4卷積神經網絡的最后一個完成后的特征向量。

3.根據權利要求2所述的一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于，所述步驟4中，VGG16、ResultNet50和Inception-V4卷積神經網絡的拼接的組合特征為：X＝cncatenate(x,y,z)，并使用全連接fc層，通過降維因子r＝16壓縮得到T＝F_fc(X)。

4.根據權利要求3所述的一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于，所述步驟5中，壓縮得到的特征T執行softmax操作計算，得出VGG16、ResultNet50和Inception-V4卷積神經網絡的注意力權重W₁、W₂和W₃；其中，W₁＝Softmax(F_fc1(T))，W₂＝Softmax(F_fc2(T))，W₃＝Softmax(F_fc3(T))，其中，F_fc1，F_fc2，F_fc3分別代表三個全連接層。

5.根據權利要求1所述的一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于，所述步驟1中，預處理的步驟包括數據集的預處理和數據集的增強。

6.根據權利要求5所述的一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于，數據集的預處理包括以下步驟：

將獲取的兒童行為視頻進行分段處理，并刪除無效視頻片段；

對得到的有效監控視頻提取關鍵幀。

7.根據權利要求5所述的一種基于深度學習的兒童多動癥行為特征識別算法，其特征在于，所述數據集的增強包括以下步驟：

選取數據集中四分之一的圖片做平移處理；

再選取選取數據集中四分之一的圖片做旋轉處理；

再選取選取數據集中四分之一的圖片做亮度調節處理；

最后選取數據集中剩下四分之一的圖片做對比度調節處理。