[發明專利]基于人體姿態檢測的建筑巡檢機器人防護穿戴識別方法

在審

• 申請號: 202210962084.1
• 申請日: 2022-08-11
• 公開（公告）號: CN115294654A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 李順達;熊文生;冷波
• 申請（專利權）人: 日照職業技術學院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/82;G06V10/56;G06V10/44;G06N3/04
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 蔡運紅

1.一種基于人體姿態檢測的建筑巡檢機器人防護穿戴識別方法，其特征在于，包括以下步驟：

第一步、采集含有建筑工人的彩色圖像、深度圖像和高亮彩色圖像，高亮彩色圖像在閃光的情況下采集；

第二步、通過人體姿態識別得到人體25個關鍵點，選取與防護穿戴相關的關鍵點，并將與防護穿戴相關的關鍵點在深度相機坐標系中的坐標轉換到彩色相機坐標系中；防護穿戴識別包括手套、安全帽和反光衣三種防護用具；

第三步、根據與防護穿戴相關的關鍵點在彩色相機坐標系中的坐標，通過計算人體姿態熱圖中各個像素點的像素值，將與防護穿戴相關的各個關鍵點由坐標形式轉換為圖像形式，生成人體姿態熱圖；

第四步、構建防護穿戴識別模型，防護穿戴識別模型包括第一級神經網絡、第二級神經網絡以及位于兩級神經網絡之間的連接模塊；將人體姿態熱圖、彩色圖像和高亮彩色圖像輸入到第一級神經網絡中進行特征提取，連接模塊用于調整第一級神經網絡輸出特征的尺寸和通道數，將連接模塊的輸出特征輸入到第二級神經網絡中進行特征處理，實現防護穿戴識別；

第五步、對防護穿戴識別模型進行訓練，將訓練后的防護穿戴識別模型移植到建筑巡檢機器人中，在機器人巡檢中對建筑工人是否穿戴手套、反光衣和安全帽進行智能識別；防護穿戴識別模型輸出手套、反光衣和安全帽三種防護用具的類別、置信度和識別框；對防護穿戴識別模型的輸出結果進行修正，包括對反光衣識別框和安全帽置信度的修正；

反光衣識別框的修正步驟為：

步驟E1、將彩色圖像和高亮彩色圖像分別轉換為彩色灰度圖像和高亮灰度圖像，將高亮灰度圖像與彩色灰度圖像相同位置上像素點的像素值相減，得到亮差圖像；

步驟E2、對亮差圖像進行處理，得到高亮彩色圖像中反光衣所在的區域，即前景圖；

步驟E3、利用種子填充法計算得到前景圖中所有獨立的前景塊，再利用蟲隨法計算各個前景塊的邊緣點，基于邊緣點根據最小外接矩形法得到每個前景塊的邊框；根據前景塊與反光衣識別框的位置關系將前景塊分為三類，分別為：全部區域位于反光衣識別框內的前景塊、部分區域位于反光衣識別框內的前景塊、全部區域位于反光衣識別框外的前景塊；

步驟E4、將部分區域和全部區域位于反光衣識別框內的所有前景塊的邊緣點以及反光衣識別框的四條邊框上的所有點進行匯總，根據最小外接矩形法得到匯總后所有點的最小外接矩形框，即修正后的反光衣識別框；利用修正后的反光衣識別框替換防護穿戴識別模型輸出的反光衣識別框，得到最終的反光衣識別框；

安全帽置信度的修正步驟為：

步驟F1、假設防護穿戴識別模型輸出的安全帽識別框內的所有像素點數量為n，安全帽識別框內安全帽占據的像素點數量為m，則安全帽識別框內安全帽在世界坐標系中的投影面積hs為：

hs＝ps×m

m＝n×75％

式中，ps為彩色圖像中安全帽所在區域單個像素點在世界坐標系中的投影面積；

步驟F2、設置安全帽的投影面積區間為[hs1,hs2]，假設安全帽置信度的原始值為conf1，則安全帽置信度的修正值conf2表示為：

再利用安全帽置信度的修正值替換防護穿戴識別模型輸出的安全帽置信度，得到最終的安全帽置信度。

2.根據權利要求1所述的基于人體姿態檢測的建筑巡檢機器人防護穿戴識別方法，其特征在于，第三步的具體過程為：首先為每個關鍵點創建與彩色圖像尺寸相同的空白圖像，將關鍵點在彩色圖像中的坐標作為空白圖像中各個像素點的初始坐標(x₀,y₀)，再將空白圖像中每個像素點的像素坐標(x,y)代入式(5)，計算各個像素點的像素值f(x,y)，得到人體姿態熱圖；

式中，A表示幅值，σ_x、σ_y分別表示橫、縱坐標的方差。