[發明專利]人員狀況偵測的傳感器融合方法

有效

• 申請號: 202111369715.0
• 申請日: 2021-11-18
• 公開（公告）號: CN114091601B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 施龍圣;魏福呈
• 申請（專利權）人: 業成科技（成都）有限公司;業成光電（深圳）有限公司;業成光電（無錫）有限公司;英特盛科技股份有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V20/52;G06V10/82;G06N3/0464;G06N3/08;G06F17/10;G01S13/86
• 代理公司: 成都希盛知識產權代理有限公司 51226
• 代理人: 楊冬梅;張錫軍

1.一種人員狀況偵測的傳感器融合方法，其特征在于，包含：

以毫米波雷達定位一偵測區域內至少一移動人員的位置；

以深度感測相機擷取所述至少一移動人員的RGB影像或IR影像，并產生與所述至少一移動人員對應的一二維人體骨架點信息；

以人工智能運算平臺執行傳感器融合程序，利用所述二維人體骨架點信息衍生的數據合成三維人體骨架時間序列，其中所述人工智能運算平臺耦接所述毫米波雷達與所述深度感測相機；以及

在所述三維人體骨架時間序列的數量大于閾值N時，以所述人工智能運算平臺內動作辨識模塊，判斷所述至少一移動人員是否跌倒，而決定是否發出通知；

其中在執行所述傳感器融合程序前更包含：

映射步驟，先將所述二維人體骨架點信息轉換成三維人體骨架點信息；以及

訊號處理步驟，利用分群算法從所述毫米波雷達的訊號獲得點云群集平均速度；

其中，所述三維人體骨架點信息與所述點云群集平均速度于所述傳感器融合程序經結合后，產生所述三維人體骨架時間序列，供所述動作辨識模塊作為判斷所述至少一移動人員是否跌倒的依據。

2.如權利要求1所述之人員狀況偵測的傳感器融合方法，其特征在于，其中所述深度感測相機利用飛時測距技術、結構光技術或是主動式立體視覺技術，取得所述至少一移動人員的深度信息，以在所述映射步驟中用于獲得所述三維人體骨架點信息。

3.如權利要求2所述之人員狀況偵測的傳感器融合方法，其特征在于，更包含：

ID編號產生步驟，在所述RGB影像或所述IR影像顯示所述至少一移動人員為復數人時，給予每一移動人員相對應之ID編號，之后進行所述映射步驟；

ID編號比對步驟，將各所述ID編號與內存內儲存之ID編號進行比對，其中所述內存與所述人工智能運算平臺耦接；

資料串聯步驟，在所述ID編號比對步驟的結果顯示為相同時，串聯所檢測到之所述三維人體骨架時間序列與相同ID編號之時間序列；以及

在所述三維人體骨架時間序列的數量大于所述閾值N時，以所述人工智能運算平臺內所述動作辨識模塊，判斷所述至少一移動人員是否跌倒，而決定是否發出所述通知。

4.如權利要求3所述之人員狀況偵測的傳感器融合方法，其特征在于，其中在所述ID編號產生步驟與所述ID編號比對步驟之間更包含：

坐標系統轉換步驟，將坐標系統原點從所述深度感測相機中心轉換至人體骨架原點，其中所述人體骨架原點為肩膀與頭部聯機的交點。

5.如權利要求4所述之人員狀況偵測的傳感器融合方法，其特征在于，其中當所述ID編號比對步驟的結果顯示為相異時，則新增ID編號并建立所述三維人體骨架時間序列儲存空間，且將所檢測到之所述三維人體骨架時間序列儲存至所述內存，然后返回所述ID編號產生步驟。

6.如權利要求5所述之人員狀況偵測的傳感器融合方法，其特征在于，其中所述深度感測相機在所述毫米波雷達的所述偵測區域內，依照默認之優先權順序逐一對不同位置之所述至少一移動人員擷取所述RGB影像或所述IR影像。

7.如權利要求1所述之人員狀況偵測的傳感器融合方法，其特征在于，其中所述二維人體骨架點信息由所述人工智能運算平臺內的姿態估測與追蹤模塊，根據姿態估測與追蹤模型獲得，其中所述姿態估測與追蹤模型的骨干網絡使用卷積神經網絡的架構。

8.如權利要求1所述之人員狀況偵測的傳感器融合方法，其特征在于，其中所述動作辨識模塊由深度學習模型或機器學習分類器，判斷所述至少一移動人員是否跌倒。

9.如權利要求1所述之人員狀況偵測的傳感器融合方法，其特征在于，其中所述毫米波雷達會在所述偵測區域內重復執行偵測動作，直到所述至少一移動人員出現并確認位置后，由與所述人工智能運算平臺耦接的馬達調整所述深度感測相機的拍攝方向與角度。