[發明專利]一種基于混合級聯卷積的跌倒檢測方法和裝置

有效

• 申請號: 202110702124.4
• 申請日: 2021-06-24
• 公開（公告）號: CN113435306B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 劉軍清;嚴兵;康維
• 申請（專利權）人: 三峽大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04;G08B21/04
• 代理公司: 北京東方盛凡知識產權代理事務所(普通合伙) 11562
• 代理人: 李娜

1.一種基于混合級聯卷積的跌倒檢測方法，其特征在于，包括：

步驟S1、將獲取跌倒行為數據進行預處理，得到數據集；

步驟S2、根據所述數據集，訓練混合級聯卷積神經網絡；

步驟S3、將實際監測的視頻數據輸入到所述混合級聯卷積神經網絡，得到實時跌倒檢測結果；

所述混合級聯卷積神經網絡的主體結構為Resnet50，在殘差模塊中插入時空信息整合單元和表象信息處理單元并取消殘差連接構成混合級聯卷積神經網絡的基本模塊；時空信息整合單元包括：一個卷積核大小為1的2D-CNN、一個卷積核大小為3的2D-CNN、一個卷積核大小為3的1D-CNN、兩個批量歸一化層；

時空信息整合單元的工作流程為：獲取上層網絡輸出的數據X1，其大小為[N*T, C, H,W]，其中，N、T、C、H、W分別為批量訓練樣本的大小、每段視頻抽樣的幀數、通道數、每一幀的高度、每一幀的寬度；X1首先經過卷積核大小為1的2D CNN層和批量歸一化層得到X11，其大小尺寸與X1一致；然后將X11輸入到卷積核大小為3的1D-CNN和2D-CNN的混合卷積模塊中得到特征X12，X12包含視頻中的時空特征；最后將X12經過另一個批量歸一化層得到輸出數據X13；

表象信息處理單元的工作流程為：首先將時空信息整合單元的輸出數據X13在分成大小尺寸一樣的四部分X21、X22、X23、X24，其大小為[N*T,C/4,H,W]；其次將X21與其他分離的數據X22、X23、X24分別進行融合變為新的四部分，新的四部分的大小為[N*T,C/4,H,W]；然后將融合后的特征信息分別輸入到卷積核大小3的2D-CNN中并進行歸一化，即，

，

最后將卷積后的特征融合成output2，output2大小為[N*T,C,H,W]。

2.一種基于混合級聯卷積的跌倒檢測裝置，其特征在于，包括：

預處理模塊，用于將獲取跌倒行為數據進行預處理，得到數據集；

訓練模塊，用于根據所述數據集，訓練混合級聯卷積神經網絡；

檢測模塊，用于將實際監測的視頻數據輸入到所述混合級聯卷積神經網絡，得到實時跌倒檢測結果；

所述混合級聯卷積神經網絡的主體結構為Resnet50，在殘差模塊中插入時空信息整合單元和表象信息處理單元并取消殘差連接構成混合級聯卷積神經網絡的基本模塊；時空信息整合單元包括：一個卷積核大小為1的2D-CNN、一個卷積核大小為3的2D-CNN、一個卷積核大小為3的1D-CNN、兩個批量歸一化層；

時空信息整合單元的工作流程為：獲取上層網絡輸出的數據X1，其大小為[N*T, C, H,W]，其中，N、T、C、H、W分別為批量訓練樣本的大小、每段視頻抽樣的幀數、通道數、每一幀的高度、每一幀的寬度；X1首先經過卷積核大小為1的2D CNN層和批量歸一化層得到X11，其大小尺寸與X1一致；然后將X11輸入到卷積核大小為3的1D-CNN和2D-CNN的混合卷積模塊中得到特征X12，X12包含視頻中的時空特征；最后將X12經過另一個批量歸一化層得到輸出數據X13；

表象信息處理單元的工作流程為：首先將時空信息整合單元的輸出數據X13在分成大小尺寸一樣的四部分X21、X22、X23、X24，其大小為[N*T,C/4,H,W]；其次將X21與其他分離的數據X22、X23、X24分別進行融合變為新的四部分，新的四部分的大小為[N*T,C/4,H,W]；然后將融合后的特征信息分別輸入到卷積核大小3的2D-CNN中并進行歸一化，即，

，

最后將卷積后的特征融合成output2，output2大小為[N*T,C,H,W]。