[發(fā)明專(zhuān)利]基于骨骼點(diǎn)融合循環(huán)空洞卷積的亂丟垃圾行為檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010167698.1
• 申請(qǐng)日: 2020-03-11
• 公開(kāi)（公告）號(hào): CN111507182B
• 公開(kāi)（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 姜明;周美佳;李鵬飛;湯景凡;張旻
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專(zhuān)利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.基于骨骼點(diǎn)融合循環(huán)空洞卷積的亂丟垃圾行為檢測(cè)方法，其特征在于包括以下步驟：

步驟S1采集包含亂丟垃圾行為的圖像集，進(jìn)行預(yù)訓(xùn)練；

步驟S2通過(guò)目標(biāo)檢測(cè)算法獲取預(yù)訓(xùn)練后圖像集中亂丟垃圾行為個(gè)體的圖像訓(xùn)練集，并對(duì)獲取的圖像訓(xùn)練集中的圖像人工定義亂丟垃圾行為的人體骨骼點(diǎn)分布；

步驟S3基于人體骨骼點(diǎn)分布制作圖像訓(xùn)練集中每個(gè)圖像的骨骼點(diǎn)熱圖；

步驟S4構(gòu)建基于骨骼點(diǎn)融合循環(huán)空洞卷積的亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)；

步驟S5將預(yù)訓(xùn)練后圖像集輸入亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)，使用梯度下降法迭代更新網(wǎng)絡(luò)，獲取最優(yōu)亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)；

步驟S6將測(cè)試集中連續(xù)幾幀的檢測(cè)圖像輸入最優(yōu)亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)中，獲取相應(yīng)的骨骼點(diǎn)分布序列，并進(jìn)行相似度計(jì)算，判斷是否為亂丟垃圾行為；

步驟S1具體過(guò)程如下：

S1.1選取不同場(chǎng)地，在不同角度放置監(jiān)控?cái)z像頭，采集不同人物個(gè)體亂丟垃圾行為的視頻；

S1.2整理采集到的視頻，提取每一個(gè)視頻的連續(xù)幾幀，轉(zhuǎn)化為一個(gè)相應(yīng)的圖像序列并存儲(chǔ)在原始人體姿態(tài)數(shù)據(jù)集中，同時(shí)對(duì)該圖像序列進(jìn)行人工分類(lèi)；所述的人工分類(lèi)是指同一地方同一時(shí)間段內(nèi)的同一個(gè)人亂丟垃圾行為作為一類(lèi)；

S1.3將存儲(chǔ)的原始人體姿態(tài)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)預(yù)處理，并使用高斯濾波處理圖像，用以減少圖像噪聲，獲取預(yù)處理的人體姿態(tài)數(shù)據(jù)集I；

步驟S2具體過(guò)程如下：

S2.1將經(jīng)過(guò)步驟S1.3處理后的人體姿態(tài)數(shù)據(jù)集I中的每個(gè)圖像進(jìn)行目標(biāo)檢測(cè)算法識(shí)別出單獨(dú)的人物，消除圖像中的無(wú)關(guān)信息，獲取人體姿態(tài)數(shù)據(jù)集II；

S2.2人工標(biāo)注人體姿態(tài)數(shù)據(jù)集II中亂丟垃圾的人物個(gè)體的各個(gè)人體骨骼點(diǎn)分布，獲得人體骨骼點(diǎn)分布圖像集；

步驟S3具體過(guò)程如下：

S3.1對(duì)于人體骨骼點(diǎn)分布圖像集中的每張圖像，以每個(gè)骨骼點(diǎn)坐標(biāo)為中心，生成對(duì)應(yīng)的高斯熱圖，對(duì)于圖像中缺失的骨骼點(diǎn)生成空白圖；根據(jù)人體結(jié)構(gòu)連接各個(gè)骨骼點(diǎn)后對(duì)應(yīng)的高斯熱圖，稱(chēng)之為身體部位熱圖；

S3.2根據(jù)人體骨骼點(diǎn)分布圖像集，將其中每張圖像中的骨骼點(diǎn)根據(jù)人體結(jié)構(gòu)對(duì)應(yīng)連接，獲得骨骼點(diǎn)連接圖，該圖各個(gè)骨骼點(diǎn)之間的連接處標(biāo)記為關(guān)節(jié)點(diǎn)，以每個(gè)關(guān)節(jié)點(diǎn)為坐標(biāo)中心生成對(duì)應(yīng)的高斯熱圖，同時(shí)根據(jù)人體結(jié)構(gòu)連接相應(yīng)的高斯熱圖，獲得關(guān)節(jié)點(diǎn)熱圖；通過(guò)融合關(guān)節(jié)點(diǎn)熱圖以及相對(duì)應(yīng)的身體部位熱圖得到骨骼點(diǎn)熱圖，從而獲取亂丟垃圾行為的人體姿態(tài)，建立相應(yīng)的亂丟垃圾人體姿態(tài)數(shù)據(jù)庫(kù)；

步驟S4具體過(guò)程如下：

S4.1構(gòu)建基于骨骼點(diǎn)融合循環(huán)空洞卷積的亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由4層網(wǎng)絡(luò)組成，前兩層為前向傳播模塊，第三層為引入了空洞卷積的循環(huán)模塊，第四層是輸出的骨骼點(diǎn)熱圖和損失值；

S4.2前兩層的前向傳播模塊,即第一、二層使用了3*3的過(guò)濾器卷積核，之后進(jìn)行池化，減小輸入圖片的分辨率，進(jìn)一步提取特征；并且每次卷積加入非線(xiàn)性激活函數(shù)Relu，以保證卷積性能；

S4.3第二層的前向傳播模塊的輸出串聯(lián)第三層的輸出作為第三層循環(huán)模塊的輸入；循環(huán)模塊內(nèi)部迭代了3個(gè)空洞卷積網(wǎng)絡(luò)，在每次迭代中，第二層的前向傳播模塊的輸出作為第三層循環(huán)模塊的輸入都是固定的，而第三層的輸出則是根據(jù)上一次迭代的輸出而更新；

所述的循環(huán)模塊引入的空洞卷積網(wǎng)絡(luò)，設(shè)置了三個(gè)卷積核大小為3，空洞率分別為1、2、5的過(guò)濾器，由于空洞卷積的特性，它能夠在不增加額外參數(shù)的情況下，增大感受野，獲取不同感受野上的語(yǔ)義信息，極大地簡(jiǎn)化了計(jì)算復(fù)雜性；

S4.4第四層有四部分輸出，分別輸出不同深度的目標(biāo)熱圖和損失值；每部分的目標(biāo)熱圖中包含骨骼點(diǎn)熱圖和身體部位熱圖，身體部位熱圖主要用于捕獲肢體，能夠作為關(guān)節(jié)點(diǎn)熱圖的建模的數(shù)據(jù)增強(qiáng)；前三部分的骨骼點(diǎn)熱圖和損失值作為輔助信息來(lái)提高反向傳播期間的梯度幅度；第四部分輸出的骨骼點(diǎn)熱圖就是網(wǎng)絡(luò)預(yù)測(cè)的最終結(jié)果，同時(shí)該部分的損失值在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中用于優(yōu)化參數(shù)；

步驟S5具體過(guò)程如下：

S5.1將預(yù)訓(xùn)練好的網(wǎng)絡(luò)參數(shù)加載到亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)中，完成網(wǎng)絡(luò)的參數(shù)初始化，設(shè)置學(xué)習(xí)率為10^-5；

S5.2將人體姿態(tài)數(shù)據(jù)集II輸入到初始化后的亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)中，采用Adam優(yōu)化器進(jìn)行訓(xùn)練，利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，經(jīng)過(guò)偏置校正后，每一次迭代學(xué)習(xí)率都有個(gè)確定范圍，使得參數(shù)比較平穩(wěn)；

在訓(xùn)練過(guò)程中，均等的加權(quán)第四層輸出的骨骼點(diǎn)熱圖，使用均方誤差，對(duì)預(yù)測(cè)的骨骼點(diǎn)熱圖與人工標(biāo)注的骨骼點(diǎn)熱圖之間的像素方差進(jìn)行平方損失計(jì)算，訓(xùn)練函數(shù)如下所示：

其中，h^k是人工標(biāo)注的真實(shí)骨骼點(diǎn)熱圖，f(*)表示特征圖迭代訓(xùn)練模型，經(jīng)過(guò)訓(xùn)練后能夠得到預(yù)測(cè)的骨骼點(diǎn)熱圖，θ表示學(xué)習(xí)參數(shù)，x表示特征圖，y表示迭代次數(shù)，K表示骨骼點(diǎn)熱圖總數(shù)；

S5.3使用反向傳播和梯度下降法完成對(duì)亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)的訓(xùn)練；

步驟S6具體過(guò)程如下：

S6.1從需要檢測(cè)的視頻中提取連續(xù)幾幀的檢測(cè)圖像，輸入訓(xùn)練好的亂丟垃圾行為檢測(cè)網(wǎng)絡(luò)中，將輸出的骨骼點(diǎn)熱圖相連接，得到人體姿態(tài)圖序列；

S6.2將得到的人體姿態(tài)圖序列與亂丟垃圾人體姿態(tài)數(shù)據(jù)庫(kù)中的序列做相似度計(jì)算，若相似度小于閾值，則判定為亂丟垃圾，反之不然；相似度公式如下：

其中，s_n表示第n個(gè)骨骼點(diǎn)，a表示檢測(cè)的結(jié)果，b表示人工定義的亂丟垃圾行為數(shù)據(jù)庫(kù)的結(jié)果，N表示所有骨骼點(diǎn)的個(gè)數(shù)，S越小，相似度越高。