[發明專利]一種基于語義分割模型的圖像狀態識別方法、裝置和設備

有效

• 申請號: 201910942713.2
• 申請日: 2019-09-30
• 公開（公告）號: CN110751066B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 閔鋒;吳濤;李曉林;張彥鐸
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 趙秀斌

1.一種基于語義分割模型的圖像狀態識別方法，其特征在于，包括：

將插銷鎖圖像輸入銷釘語義分割模型，通過所述銷釘語義分割模型對所述插銷鎖圖像進行分割后輸出語義分割圖；

將所述語義分割圖輸入圖像狀態識別模型，通過所述圖像狀態識別模型識別所述語義分割圖處于銷釘缺陷狀態或者銷釘完整狀態；

通過所述圖像狀態識別模型識別所述語義分割圖處于銷釘缺陷狀態或者銷釘完整狀態，具體包括：

驗證所述語義分割圖是否分區共存至少一個釘尾區域和至少一個釘頭區域，若否，則識別所述語義分割圖處于所述銷釘缺陷狀態，若是，則根據至少一個所述釘尾區域和至少一個所述釘頭區域識別所述語義分割圖處于所述銷釘完整狀態；

驗證所述語義分割圖是否分區共存至少一個所述釘尾區域和至少一個所述釘頭區域，具體包括：

當所述語義分割圖無表達釘尾語義的至少一個第一連通域或/和表達釘頭語義的至少一個第二連通域時，則驗證所述語義分割圖缺失所述釘頭區域或/和所述釘尾區域；

當所述語義分割圖分區共存至少一個所述第一連通域和至少一個所述第二連通域時，分別獲取第一預設像素閾值、第二預設像素閾值和預設長度閾值；

分別計量各個所述第一連通域所囊括的第一像素個數；

驗證各個所述第一連通域中是否存在超過所述第一預設像素閾值的所述第一像素個數，若否，則識別所述語義分割圖缺失所述釘尾區域，若是，則將超過所述第一預設像素閾值的所述第一像素個數所屬的所述第一連通域歸類為對應的所述釘尾區域；

根據所述釘尾區域分別計量各個所述第二連通域所囊括的第二像素個數；

驗證各個所述第二連通域中是否存在超過所述第二預設像素閾值的所述第二像素個數，若否，則驗證所述語義分割圖缺失所述釘頭區域，若是，則在所述語義分割圖上分別定位與各個超過所述第二預設像素閾值的所述第二像素個數所屬的所述第二連通域外接的最小窗口；

驗證是否存在總邊長超過所述預設長度閾值的所述最小窗口，若否，則驗證所述語義分割圖缺失所述釘頭區域，若是，則將所述總邊長超過所述預設長度閾值的所述最小窗口所對應的所述第二連通域歸類為對應的所述釘頭區域;

根據至少一個所述釘尾區域和至少一個所述釘頭區域識別所述語義分割圖處于所述銷釘完整狀態，具體包括：

驗證各個所述釘尾區域是否屬于與至少一個所述釘頭區域粘連的松脫區域，若否，則將松脫狀態歸類為所述銷釘完整狀態，若是，則將緊固狀態歸類為所述銷釘完整狀態;

驗證各個所述釘尾區域是否屬于與至少一個所述釘頭區域粘連的松脫區域，具體包括：

分別定位各個所述釘尾區域的第一像素邊界和各個所述釘頭區域的第二像素邊界；

當任意一個所述第一像素邊界無粘連任意一個所述第二像素邊界的像素時，則驗證對應所述第一像素邊界所屬的所述釘尾區域與對應所述第二像素邊界所屬的所述釘頭區域互不粘連；

當至少一個所述第一像素邊界囊括粘連至少一個所述第二像素邊界的像素時，則驗證對應所述第一像素邊界所屬的所述釘尾區域與對應所述第二像素邊界所屬的所述釘頭區域互為粘連；

將互為粘連的所述釘尾區域和所述釘頭區域提取至預設背景圖，獲得對應的銷釘粘連圖；

在所述銷釘粘連圖上定位所述釘尾區域所囊括的所述第一像素邊界與所述釘頭區域所囊括的所述第二像素邊界之間的最長直線；

在所述銷釘粘連圖上根據所述最長直線將與所述釘頭區域粘連的所述釘尾區域驗證為緊固區域或者所述松脫區域。