[發(fā)明專利]面向居家場景的老人異常行為檢測方法

有效

• 申請?zhí)枺?/td>: 202011101279.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112232190B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 張暉;夏望舒;趙海濤;孫雁飛;朱洪波
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V20/52;G06V10/80;G06V10/82;G06V10/764;G06V10/766;G06N3/0464;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 曹坤

1.面向居家場景的老人異常行為檢測方法，其特征在于，具體步驟包括如下：

步驟(1.1)、在居所的各房間中的不同方位安置若干個(gè)攝像頭；

步驟(1.2)、從安置的若干個(gè)攝像頭中獲取居所內(nèi)老人的各種生活視頻；

步驟(1.3)、訓(xùn)練單人行為識別CNN神經(jīng)網(wǎng)絡(luò)，通過該網(wǎng)絡(luò)對輸入的老人的各種生活視頻進(jìn)行識別并提取特征；再根據(jù)老人在進(jìn)行異常行為時(shí)的人物特征變化，提取其進(jìn)行異常行為時(shí)的特征值；

步驟(1.4)、將從不同攝像頭獲取的不同角度的各種生活視頻進(jìn)行網(wǎng)絡(luò)訓(xùn)練，以此神經(jīng)網(wǎng)絡(luò)從不同的角度獲得不同的行為特征值；

步驟(1.5)、將該特征值進(jìn)行特征融合，對老人的行為進(jìn)行判斷，再根據(jù)該判斷結(jié)果，通過發(fā)送信息給老人家屬的方式對老人的異常行為進(jìn)行通知；

在步驟(1.1)中，在所述各房間中安置的攝像頭的個(gè)數(shù)≥3個(gè)；

通過在居所中設(shè)置多個(gè)攝像頭以在多個(gè)方位進(jìn)行監(jiān)控，并且每個(gè)房間至少安置有3個(gè)；

所述攝像頭的擺放位置安置在同時(shí)拍攝到居所內(nèi)老人活動(dòng)時(shí)的正面、背面、側(cè)面及上面的多塊區(qū)域；所述多個(gè)攝像頭以在多個(gè)方位進(jìn)行監(jiān)控：攝像頭的擺放位置至少滿足能同時(shí)拍攝到房間內(nèi)活動(dòng)人物的正面、側(cè)面、上面三塊區(qū)域；呈現(xiàn)出三維坐標(biāo)軸XYZ的位置，從多角度對老人行為進(jìn)行監(jiān)控，以此來從n個(gè)不同的角度采集老人行動(dòng)的行為特征

在步驟(1.3)中，所述的訓(xùn)練單人行為識別CNN神經(jīng)網(wǎng)絡(luò)采用SSD快速檢測算法進(jìn)行網(wǎng)絡(luò)構(gòu)建；

其具體操作步驟如下：

(1.3.1)、默認(rèn)框：使用SSD前饋神經(jīng)網(wǎng)絡(luò)通過利用小卷積核預(yù)測特征圖上一組默認(rèn)邊界框的位置偏移量和每個(gè)框中目標(biāo)類別的得分，然后使用NMS生成最終檢測結(jié)果；

(1.3.2)、損失函數(shù)：SSD模型的重點(diǎn)是確定目標(biāo)位置的同時(shí)預(yù)測目標(biāo)類別；確定目標(biāo)位置是一個(gè)回歸的過程，確定目標(biāo)類別是一個(gè)分類的過程；目標(biāo)分類是計(jì)算多類別的Softmaxloss，位置回歸采用Smooth?L1?loss；一旦確定默認(rèn)框，就可以端到端地應(yīng)用損失函數(shù)和反向傳播；

假設(shè)表示類別p的第i個(gè)默認(rèn)框與第j個(gè)真實(shí)框相匹配；當(dāng)時(shí)，表示默認(rèn)框和真實(shí)框之間的交并比的值大于給定的閾值；故SSD總的目標(biāo)損失函數(shù)是目標(biāo)位置損失與置信損失之和，如公式(1)所示：

其中：N代表與真實(shí)框匹配的默認(rèn)框個(gè)數(shù)；L_conf為置信度損失值；L_loc為位置損失值；x為輸入圖像；c為目標(biāo)置信度；l為預(yù)測值；g為真實(shí)框；α為權(quán)重項(xiàng)；

(1.3.3)、SSD網(wǎng)絡(luò)模型采用基礎(chǔ)網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)提取圖像特征；CNN提取特征是自主學(xué)習(xí)特征的過程，其主要有卷積層、池化層和非線性激活層組成；通過網(wǎng)絡(luò)層提取特征，可避免復(fù)雜人工提取特征程序；通過可視化網(wǎng)絡(luò)層發(fā)現(xiàn)不同的網(wǎng)絡(luò)層可以提取到不同的特征信息；

在步驟(1.5)中，將該特征值進(jìn)行特征融合具體是指：對網(wǎng)絡(luò)層獲得的n種不同尺度的特征圖進(jìn)行多尺度融合，構(gòu)建多時(shí)長特征融合密集連接網(wǎng)絡(luò)模型，以獲得融合后的多尺度特征圖；再采用批量歸一化對來自網(wǎng)絡(luò)的多層進(jìn)行歸一化處理，最后使用降維后的特征圖進(jìn)行級聯(lián)，形成融合特征層，利用融合后得到的特征重構(gòu)特征圖來進(jìn)行檢測；

其具體的操作情況如下：

特征融合使用多時(shí)長特征模塊，該模塊由多個(gè)互相獨(dú)立的3D卷積計(jì)算、融合計(jì)算與平均池化計(jì)算所組成，其中每一個(gè)3D卷積計(jì)算都使用了不同時(shí)間跨度的3D卷積核；

對于輸入數(shù)據(jù)x∈R^H×W×F,在經(jīng)過K個(gè)分別獨(dú)立的3D卷積核W_i計(jì)算后分別產(chǎn)生對應(yīng)的特征長方體數(shù)據(jù)f_i為

f_i＝G_conv(x,W_i)???????????????????????????(2)

式中：G_conv表示3D卷積計(jì)算的函數(shù)；x表示輸入數(shù)據(jù)；W_i表示第i個(gè)3D卷積核的參數(shù)矩陣，且i∈K；由于3D卷積核有不同的時(shí)間跨度，則產(chǎn)生的特征長方體的時(shí)間維度大小也不同，即f₁∈R^H×W×F；將具有不同時(shí)間跨度信息的多個(gè)特征長方體數(shù)據(jù)f_i做融合特征f_v為

f_v＝G_conv(f₁,f₂,…,f_i)???????????????????????????(3)

式中：G_conv表示拼接操作；得到的融合特征為減小特征立方體的大小，需要對融合特征進(jìn)行平均池化計(jì)算得到f_avg為

式中：n表示池化區(qū)域中元素個(gè)數(shù)；f_v(x_i,y_i,t_i)表示特征長方體融合特征在位置(x_i,y_i,t_i)的值；為增加特征的表達(dá)能力，引入非線性激活函數(shù)得到多時(shí)長特征融合模塊的最終輸出為x′為

x′＝G_ReLU(f_vavg)?????????????????????????(5)

式中G_ReLU表示ReLU函數(shù)；通過該模塊計(jì)算能夠有效地提取不同時(shí)間跨度下的動(dòng)態(tài)行為特征，將更多的行為類別信息進(jìn)行映射。