[發(fā)明專利]一種基于圖像語義分割的門開關狀態(tài)檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110432408.6
• 申請日: 2021-04-21
• 公開（公告）號: CN113052894B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: 王晨;劉海峰;任廣鑫;張明
• 申請（專利權(quán)）人: 合肥中科類腦智能技術有限公司
• 主分類號: G06T7/62
• 分類號: G06T7/62;G06V20/70;G06V10/26;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 合肥昊晟德專利代理事務所(普通合伙) 34153
• 代理人: 何梓秋

1.一種基于圖像語義分割的門開關狀態(tài)檢測方法，其特征在于，包括以下步驟：

S1：圖像采集

從關于門的視頻流中采集一張圖像；

S2：像素分類

將步驟S1中采集的圖像輸入訓練后的語義分割網(wǎng)絡，對圖像像素信息進行分類；

S3：計算門面積

利用輪廓檢測計算門區(qū)域面積S；

S4：判斷門開關狀態(tài)

通過比較I值與預設閾值R的大小對門的開關狀態(tài)進行判斷，其中I＝S_t/S_max，S_t為本輪采集圖像中門的面積，S_max為門正常閉合時門區(qū)域面積S的最大值，當IR時，門是打開狀態(tài)，否則判斷為閉合狀態(tài)；

在所述步驟S2中，語義分割即對圖片中每個像素點進行分類，屬于同一類的像素賦予一個相同的標簽數(shù)字，可視化時為每種類別賦予一個顏色；

所述步驟S2中的語義分割網(wǎng)絡的訓練過程如下：

S21：使用標注工具，將門的圖片數(shù)據(jù)中的門區(qū)域采用多邊形工具進行標注；

S22：根據(jù)標注信息，生成一張與原圖一樣大小的空白圖片，在此圖片上，將多邊形包圍的門區(qū)域像素值置為1，非門區(qū)域值置為0；

S23：采用原始圖片和步驟S22生成的標注圖片，訓練并保存語義分割網(wǎng)絡；

所述步驟S3的具體過程如下：

S31：對輸出為1的語義分割的結(jié)果進行腐蝕、膨脹操作，消除細小的分割噪聲，得到一系列相對連續(xù)的分割區(qū)域；

S32：對步驟S31中相對連續(xù)的分割區(qū)域進行輪廓檢測，找到輪廓面積最大的區(qū)域，計算該區(qū)域內(nèi)點的橫縱坐標的最小值和最大值，獲得最大區(qū)域的外接矩形框；

S33：將步驟S32中的外接矩形框記為門區(qū)域面積S。

2.根據(jù)權(quán)利要求1所述的一種基于圖像語義分割的門開關狀態(tài)檢測方法，其特征在于：在所述步驟S1中，首次采集時該圖像中為門正常關閉狀態(tài)圖像，且整個門均處于該圖像中。

3.根據(jù)權(quán)利要求1所述的一種基于圖像語義分割的門開關狀態(tài)檢測方法，其特征在于：在所述步驟S2中，所述語義分割網(wǎng)絡結(jié)構(gòu)為deeplab v3網(wǎng)絡或Unet網(wǎng)絡。

4.根據(jù)權(quán)利要求1所述的一種基于圖像語義分割的門開關狀態(tài)檢測方法，其特征在于：在初次求取I值時，經(jīng)過步驟S1～S3所獲得的門區(qū)域面積為S₁，I＝S₁/S_max，S₁即為門區(qū)域面積的最大值S_max，需先對S_max進行賦值，S_max＝S₁，再求取I值，此時I＝1，大于R，門為閉合狀態(tài)。

5.一種基于圖像語義分割門開關狀態(tài)檢測系統(tǒng)，其特征在于，利用如權(quán)利要求1～4任一項所述的檢測方法對門開關狀態(tài)進行檢測，包括：

圖像采集模塊，用于從關于門的視頻流中采集一張圖像；

像素分類模塊，用于將步驟S1中采集的圖像輸入訓練后的語義分割網(wǎng)絡，對圖像像素信息進行分類；

面積計算模塊，用于利用輪廓檢測計算門區(qū)域面積S；

狀態(tài)判斷模塊，用于通過比較I值與預設閾值R的大小對門的開關狀態(tài)進行判斷；

中央處理模塊，用于向其他模塊發(fā)出指令，完成相關動作；

所述圖像采集模塊、像素分類模塊、面積計算模塊、狀態(tài)判斷模塊均與中央處理模塊電連接。