[發(fā)明專利]一種對(duì)廠房?jī)?nèi)工人自動(dòng)定位的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111258784.4
• 申請(qǐng)日: 2021-10-27
• 公開（公告）號(hào): CN113989335A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 李家松;李明磊;李佳;劉琴;張彩煜
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06T7/277
• 分類號(hào): G06T7/277;G06T7/70;G06T7/80;G06V40/20;G06V40/10;G06V10/82;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種對(duì)廠房?jī)?nèi)工人自動(dòng)定位的方法，其特征在于，結(jié)合了視頻圖像對(duì)作業(yè)工人進(jìn)行檢測(cè)和跟蹤，實(shí)現(xiàn)對(duì)廠房?jī)?nèi)工人行動(dòng)安全性自動(dòng)監(jiān)測(cè)，包括步驟：

步驟1、構(gòu)建使用工業(yè)相機(jī)組成的工人作業(yè)環(huán)境安全性監(jiān)測(cè)裝置，所述裝置的硬件設(shè)備包含成像相機(jī)；

步驟2、標(biāo)定相機(jī)的內(nèi)外參數(shù)，使用標(biāo)定板，對(duì)兩兩相機(jī)之間的相對(duì)位置姿態(tài)和圖像內(nèi)參數(shù)進(jìn)行標(biāo)定，獲得標(biāo)定參數(shù)；

步驟3、在地面放置二維碼標(biāo)記點(diǎn)，并測(cè)量標(biāo)記點(diǎn)之間的距離，根據(jù)相機(jī)的標(biāo)定參數(shù)和標(biāo)記點(diǎn)之間的距離計(jì)算得出每一部相機(jī)與地面的相對(duì)位置關(guān)系；

步驟4、使用工業(yè)相機(jī)對(duì)監(jiān)控場(chǎng)地進(jìn)行視頻拍攝，視頻中應(yīng)包含工人在廠房中作業(yè)生產(chǎn)的實(shí)時(shí)畫面，并應(yīng)在危險(xiǎn)作業(yè)區(qū)域設(shè)置危險(xiǎn)區(qū)域?qū)?yīng)的標(biāo)識(shí)靶點(diǎn)；

步驟5、在視頻圖像中，用深度學(xué)習(xí)網(wǎng)絡(luò)模型檢測(cè)工人，得到工人在圖像中的位置；

步驟6、結(jié)合步驟5所述的工人在圖像中的位置與步驟3所述的相機(jī)和地面的相對(duì)位置關(guān)系，計(jì)算出工人在物理世界中的位置；

步驟7、截取圖像中包含工人部分的像素圖像作為快照；

步驟8、訓(xùn)練描述工人的特征網(wǎng)絡(luò)，將步驟7所述的快照輸入特征網(wǎng)絡(luò)，得到每個(gè)工人的外觀特征；

步驟9、使用卡爾曼濾波器預(yù)測(cè)上一幀的跟蹤到的工人的位置；

步驟10、將當(dāng)前幀每個(gè)工人的位置和外觀特征與上一幀的跟蹤到的工人的預(yù)測(cè)位置和外觀特征相關(guān)聯(lián)，確定這一幀跟蹤到的工人，并為他們分配上一幀跟蹤器的編號(hào)；

步驟11、將這一幀沒有分配到的檢測(cè)結(jié)果初始化為新的跟蹤目標(biāo)，并為他們分配新的跟蹤器編號(hào)；

步驟12、計(jì)算跟蹤失敗的跟蹤器距離上一次成功跟蹤的時(shí)間，刪除超時(shí)的跟蹤器；

步驟13、更新每個(gè)工人的位置與外觀特征，并將更新后的位置用于步驟9所述的預(yù)測(cè)工人的位置，將更新后的外觀特征用于步驟10中所述的關(guān)聯(lián)；

步驟14、計(jì)算跟蹤到的工人與步驟4中所述的標(biāo)記出的危險(xiǎn)作業(yè)區(qū)域之間的相對(duì)位置關(guān)系得到位置上下文信息，根據(jù)位置上下文信息確定工人作業(yè)狀態(tài)為安全或是危險(xiǎn)，當(dāng)工人作業(yè)狀態(tài)存在危險(xiǎn)時(shí)，通過警笛發(fā)出報(bào)警提醒。

2.如權(quán)利要求1所述的方法，其特征在于，步驟2所述的標(biāo)定板是機(jī)器視覺領(lǐng)域的規(guī)則標(biāo)定板，可以使用棋盤格標(biāo)定板和實(shí)心原點(diǎn)標(biāo)定板，標(biāo)定要獲得的參數(shù)包括相機(jī)的主距、主點(diǎn)、畸變、相對(duì)位置和姿態(tài)轉(zhuǎn)角參數(shù)。

3.如權(quán)利要求1所述的方法，其特征在于，步驟5所述的工人在圖像中的位置是逐幀推理檢測(cè)的結(jié)果，包括檢測(cè)出的工人在圖像中邊界框左上角點(diǎn)像素坐標(biāo)、邊界框?qū)捄瓦吔缈蚋摺?/p>

4.如權(quán)利要求1所述的方法，其特征在于，步驟9所述的卡爾曼濾波器是一種利用線性系統(tǒng)狀態(tài)方程，將上一次迭代中的工人物理位置作為輸入，輸出當(dāng)前迭代的估計(jì)位置，所述的迭代是對(duì)于步驟4中記錄的每一幀的處理過程。

5.如權(quán)利要求1所述的方法，其特征在于，步驟10所述的將當(dāng)前幀的位置和外觀特征與上一幀的預(yù)測(cè)位置和外觀特征相關(guān)聯(lián)，所述的關(guān)聯(lián)方法是匈牙利算法，所述的匈牙利算法是得到預(yù)測(cè)位置和檢測(cè)位置之間最小損失的分配算法。