[發(fā)明專利]基于rotated-yolov5的電梯異物檢測(cè)方法、系統(tǒng)、存儲(chǔ)介質(zhì)、電梯

在審

• 申請(qǐng)?zhí)枺?/td>: 202110696320.5
• 申請(qǐng)日: 2021-06-23
• 公開(kāi)（公告）號(hào): CN113435296A
• 公開(kāi)（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 任士俊;劉雙伍;鄧甜甜;李呈宇;倪懷
• 申請(qǐng)（專利權(quán)）人: 合肥云通物聯(lián)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 六安華晟智恒知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34193
• 代理人: 王媛媛

本發(fā)明公開(kāi)了一種基于rotated?yolov5的電梯異物檢測(cè)方法、系統(tǒng)、存儲(chǔ)介質(zhì)、電梯，涉及電梯安全技術(shù)領(lǐng)域，通過(guò)獲取電梯內(nèi)攝像機(jī)的視頻流，解碼每一幀圖像；將圖像進(jìn)行預(yù)處理，將得到的維度數(shù)據(jù)喂入rotated?yolov5神經(jīng)網(wǎng)絡(luò)中，進(jìn)行前向推理計(jì)算后輸出帶角度的異物預(yù)測(cè)框；將預(yù)測(cè)框輸入至后處理和非極大值抑制模塊，經(jīng)過(guò)濾后得到有效的異物檢測(cè)框；判斷異物檢測(cè)框是否落在安全區(qū)域內(nèi)。本發(fā)明不僅能檢測(cè)出異物的位置，還能檢測(cè)異物的旋轉(zhuǎn)角度，這大大提高了本發(fā)明檢測(cè)算法的精度和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及電梯安全技術(shù)領(lǐng)域，具體是一種基于rotated-yolov5神經(jīng)網(wǎng)絡(luò)的電梯異物檢測(cè)方法、系統(tǒng)、計(jì)算機(jī)存儲(chǔ)介質(zhì)、電梯。

背景技術(shù)

早期的傳統(tǒng)電梯異物檢測(cè)系統(tǒng)的自動(dòng)化較弱，通常采用值班人員查看攝像頭來(lái)實(shí)時(shí)地監(jiān)測(cè)電梯安全，或者是采用在電梯門內(nèi)設(shè)置紅外線來(lái)監(jiān)測(cè)進(jìn)入電梯內(nèi)的物體。隨著如今深度學(xué)習(xí)的崛起，越來(lái)越多的目標(biāo)檢測(cè)算法被應(yīng)用在電梯異物檢測(cè)系統(tǒng)中。但是這些算法是大多數(shù)基于水平目標(biāo)檢測(cè)方法來(lái)定位異物，而異物在實(shí)際場(chǎng)景中都具有一定的旋轉(zhuǎn)角度，這使得電梯異物檢測(cè)方法不夠準(zhǔn)確，降低了電梯對(duì)異物的監(jiān)控能力。

發(fā)明內(nèi)容

針對(duì)背景技術(shù)所提出的問(wèn)題，本發(fā)明的第一目的是提供一種基于rotated-yolov5的電梯異物檢測(cè)方法，提升進(jìn)入電梯的異物的檢測(cè)精度和魯棒性，提高電梯的使用安全性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于rotated-yolov5的電梯異物檢測(cè)方法，包括如下步驟：

(1)獲取電梯內(nèi)攝像機(jī)的視頻流，并解碼每一幀圖像；

(2)將圖像進(jìn)行預(yù)處理，得到 [1, 3, 416, 416]維度的數(shù)據(jù)并喂入rotated-yolov5神經(jīng)網(wǎng)絡(luò)中；

(3)在 rotated-yolov5網(wǎng)絡(luò)中前向推理計(jì)算后輸出帶角度的異物預(yù)測(cè)框；

(4)將預(yù)測(cè)框輸入至后處理和非極大值抑制模塊，經(jīng)過(guò)濾后得到有效的異物檢測(cè)框；

(5)判斷異物檢測(cè)框是否落在安全區(qū)域內(nèi)，如果是，則自動(dòng)報(bào)警，如果否，則解碼下一幀圖像并重復(fù)（2）～（5）步驟。

作為本發(fā)明進(jìn)一步的方案：所述rotated-yolov5神經(jīng)網(wǎng)絡(luò)需要由模型訓(xùn)練得到，其訓(xùn)練步驟如下：

(a)采集大量的電梯場(chǎng)景圖片數(shù)據(jù)集，并通過(guò)人工標(biāo)注出圖片里所有的異物信息，這些信息主要包括異物的真實(shí)框和所屬類別；

(b)對(duì)這些圖片統(tǒng)一進(jìn)行預(yù)處理，并生成結(jié)構(gòu)化的二進(jìn)制數(shù)據(jù)文件；

(c)批量地將二進(jìn)制數(shù)據(jù)文件喂入rotated-yolov5神經(jīng)網(wǎng)絡(luò)模型中，經(jīng)前向推理計(jì)算后得到異物的預(yù)測(cè)框；

(d)將異物的預(yù)測(cè)框和真實(shí)框進(jìn)行比較，計(jì)算它們之間的損失值；

(e)通過(guò)誤差反向傳播運(yùn)算更新rotated-yolov5神經(jīng)網(wǎng)絡(luò)中的權(quán)重參數(shù)，并使用梯度下降法來(lái)最小化（d）中的損失值；

(f)重復(fù)（c）～（e）操作直至滿足迭代輪數(shù)，訓(xùn)練結(jié)束。

作為本發(fā)明進(jìn)一步的方案：所述步驟（a）中通過(guò)人工標(biāo)注圖片里每個(gè)異物的矩形ROI的四個(gè)頂點(diǎn)坐標(biāo)和異物所屬類別。

作為本發(fā)明進(jìn)一步的方案：所述步驟（b）中讀取圖片數(shù)據(jù)和異物的標(biāo)注信息進(jìn)行預(yù)處理的方法為：首先對(duì)圖片進(jìn)行增加噪聲、顏色擾動(dòng)的操作，并統(tǒng)一裁剪和縮放為416x416大小的分辨率，顏色通道轉(zhuǎn)換為RGB的形式；并將異物的標(biāo)注信息編碼為真實(shí)框數(shù)據(jù)，預(yù)處理完畢后生成一個(gè)二進(jìn)制的數(shù)據(jù)文件，用于訓(xùn)練rotated-yolov5神經(jīng)網(wǎng)絡(luò)。