[發明專利]基于人工智能的行為檢測方法、設備及存儲介質

在審

• 申請號: 202111566558.2
• 申請日: 2021-12-20
• 公開（公告）號: CN114360055A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 董曉楠;李成文;鐘晨初;李學鋒;田文龍
• 申請（專利權）人: 蘇州匯川控制技術有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;B66B5/00
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王徑武

1.一種基于人工智能的行為檢測方法，應用于終端，其特征在于，所述基于人工智能的行為檢測方法包括：

獲取待處理視頻對應的圖像幀；

對所述圖像幀進行圖像分割，獲得所述圖像幀中的乘客信息；

根據所述乘客信息獲得人體各部位關鍵點信息，并將所述人體各部位關鍵點信息傳輸至云端服務器，以使所述云端服務器根據所述人體各部位關鍵點信息進行異常行為預警。

2.如權利要求1所述的基于人工智能的行為檢測方法，其特征在于，所述根據所述乘客信息獲得人體各部位關鍵點信息，并將所述人體各部位關鍵點信息傳輸至云端服務器，以使所述云端服務器根據所述人體各部位關鍵點信息進行異常行為預警的步驟，具體包括：

獲取所述乘客信息中的乘客標識信息和乘客人體輪廓信息；

對所述乘客人體輪廓信息進行姿態估計，獲得人體各部位關鍵點信息；

將所述乘客標識信息和所述人體各部位關鍵點信息傳輸至云端服務器，以使云端服務器根據所述乘客標識信息和所述人體各部位關鍵點信息確定異常行為信息，并基于所述異常行為信息進行異常行為預警。

3.如權利要求2所述的基于人工智能的行為檢測方法，其特征在于，所述對所述圖像幀進行圖像分割，獲得所述圖像幀中的乘客信息的步驟，具體包括：

為所述圖像幀中的乘客添加標識，獲得乘客標識信息；

對所述圖像幀進行圖像分割，獲得分割后的區域，并從所述分割后的區域中提取人體感興趣區域；

通過預設神經網絡對所述人體感興趣區域進行邊緣提取，獲得所述圖像幀中的乘客人體輪廓信息。

4.一種基于人工智能的行為檢測方法，應用于云端服務器，其特征在于，所述基于人工智能的行為檢測方法包括：

獲取待監控電梯中當前乘客的乘客特征信息；

根據所述乘客特征信息和預設時空融合模型確定乘客行為融合特征；

對所述乘客行為融合特征進行行為分析，獲得乘客行為分析結果，并基于所述乘客行為分析結果進行異常行為預警。

5.如權利要求4所述的基于人工智能的行為檢測方法，其特征在于，所述乘客特征信息包括乘客標識信息和人體各部位關鍵點信息；

所述根據所述乘客特征信息和預設時空融合模型確定乘客行為融合特征的步驟，具體包括：

根據所述人體各部位關鍵點信息和所述乘客標識信息確定同一乘客在連續圖像幀中的人體各部位關鍵點信息和不同乘客在同一圖像幀中的人體各部位關鍵點信息；

將所述同一乘客在連續圖像幀中的人體各部位關鍵點信息和所述不同乘客在同一圖像幀中的人體各部位關鍵點信息輸入至預設時空融合模型中，獲得乘客行為融合特征。

6.如權利要求5所述的基于人工智能的行為檢測方法，其特征在于，所述預設時空融合模型包括：預設長短期記憶網絡、預設卷積神經網絡以及預設特征融合神經網絡；

所述將所述同一乘客在連續圖像幀中的人體各部位關鍵點信息和所述不同乘客在同一圖像幀中的人體各部位關鍵點信息輸入至預設時空融合模型中，獲得乘客行為融合特征的步驟，具體包括：

將所述同一乘客在連續圖像幀中的人體各部位關鍵點信息輸入至所述預設長短期記憶網絡中，獲得第一乘客行為特征；

將所述不同乘客在同一圖像幀中的人體各部位關鍵點信息輸入至所述預設卷積神經網絡中，獲得第二乘客行為特征；

將所述第一乘客行為特征和所述第二乘客行為特征輸入至所述預設特征融合神經網絡中，獲得乘客行為融合特征。

7.如權利要求4所述的基于人工智能的行為檢測方法，其特征在于，所述對所述乘客行為融合特征進行行為分析，獲得乘客行為分析結果，并基于所述乘客行為分析結果進行異常行為預警的步驟，具體包括：

對所述乘客行為融合特征進行分類，獲得不同類型的乘客行為融合特征；

將所述不同類型的乘客行為融合特征與異常類型的乘客行為融合特征進行匹配；

根據匹配結果確定異常乘客行為融合特征，并基于所述異常乘客行為融合特征進行異常行為預警。