[發明專利]電梯場景識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210144001.8
• 申請日: 2022-02-17
• 公開（公告）號: CN114519831A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 楊戰波;黃澤元;祁曉婷;蔣召
• 申請（專利權）人: 深圳集智數字科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V20/52;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊超

1.一種電梯場景識別方法，其特征在于，包括：

獲取利用電梯攝像頭采集的視頻流，按照預設的時間長度對所述視頻流進行分割處理，得到至少一個視頻片段；

將所述視頻片段輸入到預先構建的電梯場景識別模型中，利用所述電梯場景識別模型中的動作識別深度網絡對所述視頻片段進行特征提取，其中所述動作識別深度網絡中包含三個特征提取通道；

在利用動作識別深度網絡對所述視頻片段進行特征提取時，利用第一特征提取通道對空間維度特征進行提取得到第一特征圖，利用第二特征提取通道對時間維度特征進行提取得到第二特征圖，利用第三特征提取通道對所述空間維度特征及所述時間維度特征進行融合得到第三特征圖；

對所述第一特征圖、第二特征圖以及第三特征圖進行全局平均池化，并對全局平均池化后的特征圖進行特征拼接，對所述特征拼接后得到的特征圖進行預測，根據預測結果確定所述視頻片段對應的電梯場景。

2.根據權利要求1所述的方法，其特征在于，采用以下方式構建所述電梯場景識別模型，包括：

獲取用于模型訓練的原始視頻流數據，按照預設的時間長度將所述原始視頻流數據分割成若干個視頻片段；

利用預先配置的電梯場景類別標注規則對所述視頻片段進行標注，得到標注后的視頻片段，并根據所述標注后的視頻片段構造訓練集；

利用所述訓練集對所述電梯場景識別模型進行訓練，得到訓練后的電梯場景識別模型。

3.根據權利要求2所述的方法，其特征在于，所述電梯場景類別標注規則中包含類別編號、類別名稱和類別描述，所述利用預先配置的電梯場景類別標注規則對所述視頻片段進行標注，包括：

對所述視頻片段進行分析得到電梯場景的描述信息，將所述電梯場景的描述信息與所述類別描述進行匹配，確定與所述電梯場景相對應的類別描述以及類別名稱；

根據所述電梯場景類別標注規則中所述類別描述及所述類別名稱對應的場景優先級對所述視頻片段進行標注，以確定每個所述視頻片段對應的電梯場景的類別編號。

4.根據權利要求1所述的方法，其特征在于，所述利用所述電梯場景識別模型中的動作識別深度網絡對所述視頻片段進行特征提取，包括：

對所述視頻片段進行處理得到預設數量的圖像幀，將所述圖像幀、所述圖像幀的長、寬以及通道維度作為所述動作識別深度網絡中三個特征提取通道的輸入，利用三個特征提取通道對不同維度的特征進行提取；

其中，每個特征提取通道中均包含相同數量的卷積模塊，每個所述卷積模塊中均包含多個三層殘差卷積模塊，每個所述三層殘差卷積模塊中的第一層殘差卷積對應的時間維度卷積尺寸為3，第二層殘差卷積以及第三層殘差卷積對應的時間維度卷積尺寸為1。

5.根據權利要求4所述的方法，其特征在于，所述預設數量的圖像幀為64個圖像幀，所述利用第一特征提取通道對空間維度特征進行提取得到第一特征圖，包括：

將64個圖像幀按照預定步長進行等間隔抽取得到4個圖像幀，在所述第一特征提取通道中的第一卷積模塊中利用時間維度卷積尺寸為1的3D卷積進行計算，并在第二卷積模塊和第三卷積模塊中將所有卷積的時間維度尺寸設為1，在第四卷積模塊和第五卷積模塊中將第一層殘差卷積的時間維度卷積尺寸設為3，且第二層殘差卷積及第三層殘差卷積的時間維度卷積尺寸設為1；

利用所述第一特征提取通道中的第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊和第五卷積模塊依次對所述圖像幀中的空間維度特征進行提取得到第一特征圖。

6.根據權利要求4所述的方法，其特征在于，所述第二特征提取通道以及所述第三特征提取通道中包含5個卷積模塊，每個所述卷積模塊中具有多個三層殘差卷積模塊，將所述第一特征提取通道以及所述第二特征提取通道中每層卷積模塊的輸出作為所述第三特征提取通道中每層卷積模塊的輸入，利用所述第三特征提取通道進行卷積計算和特征拼接得到第三特征圖。