[發(fā)明專利]人員狀況偵測(cè)的傳感器融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111369715.0
• 申請(qǐng)日: 2021-11-18
• 公開(kāi)（公告）號(hào): CN114091601B
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 施龍圣;魏福呈
• 申請(qǐng)（專利權(quán)）人: 業(yè)成科技（成都）有限公司;業(yè)成光電（深圳）有限公司;業(yè)成光電（無(wú)錫）有限公司;英特盛科技股份有限公司
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V10/764;G06V20/52;G06V10/82;G06N3/0464;G06N3/08;G06F17/10;G01S13/86
• 代理公司: 成都希盛知識(shí)產(chǎn)權(quán)代理有限公司 51226
• 代理人: 楊冬梅;張錫軍

本發(fā)明提供一種人員狀況偵測(cè)的傳感器融合方法，包含：以一毫米波雷達(dá)定位一偵測(cè)區(qū)域內(nèi)至少一移動(dòng)人員的位置；以一深度感測(cè)相機(jī)擷取所述至少一移動(dòng)人員的一RGB影像或一IR影像，并產(chǎn)生與所述至少一移動(dòng)人員對(duì)應(yīng)的二維(2D)人體骨架點(diǎn)信息；以一人工智能運(yùn)算平臺(tái)執(zhí)行一傳感器融合(sensor?fusion)程序，利用所述二維人體骨架點(diǎn)信息衍生之?dāng)?shù)據(jù)合成一三維(3D)人體骨架時(shí)間序列；在所述合成三維人體骨架時(shí)間序列的數(shù)量大于一閾值N時(shí)，以所述人工智能運(yùn)算平臺(tái)內(nèi)一動(dòng)作辨識(shí)模塊，判斷所述至少一移動(dòng)人員是否跌倒，以決定是否發(fā)出一通知。

技術(shù)領(lǐng)域

本發(fā)明系有關(guān)于一種人員狀況偵測(cè)的方法，尤其系指一種人員狀況偵測(cè)的傳感器融合方法。

背景技術(shù)

在目前的技術(shù)中，有許多非接觸式跌倒偵測(cè)產(chǎn)品或解決方案，但是普遍面臨下列問(wèn)題。例如，在使用雷達(dá)的方案中，當(dāng)場(chǎng)景內(nèi)人數(shù)過(guò)多時(shí)則跌倒辨識(shí)率可能會(huì)下降。另外，在使用影像式裝置(例如RGB攝影機(jī)、IR攝影機(jī))的方案中，視野(Field?of?View,FOV)涵蓋范圍太小，而深度攝影機(jī)有距離限制(5m)。再者，使用影像式裝置的方案，容易使系統(tǒng)長(zhǎng)時(shí)間維持在高負(fù)載(亦即運(yùn)算量較復(fù)雜)的情況之下，有影響產(chǎn)品壽命及能源浪費(fèi)的缺點(diǎn)。

綜上所述，如何提供一個(gè)可以有效且準(zhǔn)確偵測(cè)人員狀況偵測(cè)的方法乃是業(yè)界所需思考的重要課題。

發(fā)明內(nèi)容

本發(fā)明提供一種人員狀況偵測(cè)的傳感器融合方法，可有效地提升產(chǎn)品壽命及避免能源浪費(fèi)。另外，結(jié)合不同來(lái)源的數(shù)據(jù)，相較于單獨(dú)使用這些來(lái)源而言，所得到之訊息的不確定性較小。也就是說(shuō)，可以更準(zhǔn)確地判別人員狀況。

鑒于上述內(nèi)容，本發(fā)明提供一種人員狀況偵測(cè)的傳感器融合方法，包含：以一毫米波雷達(dá)定位一偵測(cè)區(qū)域內(nèi)至少一移動(dòng)人員的位置；以一深度感測(cè)相機(jī)擷取所述至少一移動(dòng)人員的一RGB影像或一IR影像，并產(chǎn)生與所述至少一移動(dòng)人員對(duì)應(yīng)的一二維人體骨架點(diǎn)信息；以一人工智能運(yùn)算平臺(tái)執(zhí)行一傳感器融合(sensor?fusion)程序，利用所述二維人體骨架點(diǎn)信息衍生之?dāng)?shù)據(jù)合成一三維人體骨架時(shí)間序列，其中所述人工智能運(yùn)算平臺(tái)耦接所述毫米波雷達(dá)與所述深度感測(cè)相機(jī)；在所述合成三維人體骨架時(shí)間序列的數(shù)量大于一閾值N時(shí)，以所述人工智能運(yùn)算平臺(tái)內(nèi)一動(dòng)作辨識(shí)模塊，判斷所述至少一移動(dòng)人員是否跌倒，以決定是否發(fā)出一通知。

根據(jù)本發(fā)明之一個(gè)或多個(gè)實(shí)施方式，其中在執(zhí)行所述傳感器融合程序前更包含：一映射步驟，先將所述二維人體骨架點(diǎn)信息轉(zhuǎn)換成一三維人體骨架點(diǎn)信息；以及一訊號(hào)處理步驟，利用一分群算法從所述毫米波雷達(dá)的訊號(hào)獲得一點(diǎn)云群集平均速度；其中，所述三維人體骨架點(diǎn)信息與所述點(diǎn)云群集平均速度于所述傳感器融合程序經(jīng)結(jié)合后，產(chǎn)生所述三維人體骨架時(shí)間序列。

根據(jù)本發(fā)明之一個(gè)或多個(gè)實(shí)施方式，其中所述深度感測(cè)相機(jī)更利用飛時(shí)測(cè)距(Time?of?Flight,ToF)技術(shù)、結(jié)構(gòu)光(structured?light)技術(shù)或是主動(dòng)式立體視覺(jué)(active?stereo?vision)技術(shù)，取得所述至少一移動(dòng)人員的一深度信息，以在所述映射步驟中用于獲得所述三維人體骨架點(diǎn)信息。

根據(jù)本發(fā)明之一個(gè)或多個(gè)實(shí)施方式，更包含：一ID編號(hào)產(chǎn)生步驟，在所述RGB影像或所述IR影像顯示所述至少一移動(dòng)人員為復(fù)數(shù)人時(shí)，給予每一移動(dòng)人員相對(duì)應(yīng)之ID編號(hào)，之后進(jìn)行所述映射步驟；一ID編號(hào)比對(duì)步驟，將各所述ID編號(hào)與一內(nèi)存內(nèi)儲(chǔ)存之ID編號(hào)進(jìn)行比對(duì)，其中所述內(nèi)存與所述人工智能運(yùn)算平臺(tái)耦接；一資料串聯(lián)步驟，在所述ID編號(hào)比對(duì)步驟的結(jié)果顯示為相同時(shí)，串聯(lián)所檢測(cè)到之所述三維人體骨架時(shí)間序列與相同ID編號(hào)之時(shí)間序列；以及在所述三維人體骨架時(shí)間序列的數(shù)量大于所述閾值N時(shí)，以所述人工智能運(yùn)算平臺(tái)內(nèi)所述動(dòng)作辨識(shí)模塊，判斷所述至少一移動(dòng)人員是否跌倒，而決定是否發(fā)出所述通知。

根據(jù)本發(fā)明之一個(gè)或多個(gè)實(shí)施方式，其中在所述ID編號(hào)產(chǎn)生步驟與所述ID編號(hào)比對(duì)步驟之間更包含：一坐標(biāo)系統(tǒng)轉(zhuǎn)換步驟，將坐標(biāo)系統(tǒng)原點(diǎn)從所述深度感測(cè)相機(jī)中心轉(zhuǎn)換至人體骨架原點(diǎn)，其中所述人體骨架原點(diǎn)系肩膀與頭部聯(lián)機(jī)的交點(diǎn)。