[發明專利]基于機器視覺和有限狀態機FSM的電動螺絲刀檢測方法

有效

• 申請號: 202011131732.6
• 申請日: 2020-10-21
• 公開（公告）號: CN112326285B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 竇蓉蓉;崔博森;曾慶宇
• 申請（專利權）人: 南京大學
• 主分類號: G01M99/00
• 分類號: G01M99/00;B23P19/10
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 湯金燕

1.一種基于機器視覺和有限狀態機FSM的電動螺絲刀檢測方法，其特征在于，包括如下步驟：

S10，實時提取電動螺絲刀的工作圖像，在工作圖像中提取僅包含電動螺絲刀圖像和螺絲圖像的輸出邊緣圖像，將輸出邊緣圖像輸入有限狀態機FSM模塊；

S20，有限狀態機FSM模塊對輸出邊緣圖像進行預處理，分別計算輸出邊緣圖像中電動螺絲刀和螺絲的碰撞坐標，檢測電動螺絲刀和螺絲的碰撞坐標與水平質檢參考線坐標，根據碰撞坐標和水平質檢參考線坐標判斷螺絲是否被打入指定位置；

S30，有限狀態機FSM模塊若判定電動螺絲刀未成功將螺絲打入指定位置，通過本狀態機處于最終態時的輸入邊緣圖像中螺絲的碰撞坐標和螺絲左右兩側垂直質檢參考線坐標的位置關系判斷螺絲未打入指定位置的原因；

所述實時提取電動螺絲刀的工作圖像，在工作圖像中提取僅包含電動螺絲刀圖像和螺絲圖像的輸出邊緣圖像包括：

實時提取電動螺絲刀的工作圖像，將工作圖像輸入至語義分割模塊，語義分割模塊根據電動螺絲刀圖像和螺絲圖像的圖像特點在工作圖像中進行分割，使在工作圖像中僅包含電動螺絲刀和螺絲的圖像，該圖像將作語義分割模塊的輸出再傳入至邊緣檢測模塊和圖像濾波模塊，前者將通過對圖片實行閾值分割獲取邊緣圖像，后者將以邊緣圖像的封閉性作為依據來去除圖像中的多余噪聲，輸出濾波圖像作為輸出邊緣圖像。

2.根據權利要求1所述的基于機器視覺和有限狀態機FSM的電動螺絲刀檢測方法，其特征在于，有限狀態機FSM模塊對輸出邊緣圖像進行預處理，分別計算輸出邊緣圖像中電動螺絲刀和螺絲的碰撞坐標，檢測電動螺絲刀和螺絲的碰撞坐標與水平質檢參考線坐標，根據碰撞坐標和水平質檢參考線坐標判斷螺絲是否被打入指定位置包括：

在有限狀態機FSM模塊處于最終態時，若電動螺絲刀碰撞坐標的下邊界坐標高于電動螺絲刀的水平質檢參考線坐標，且螺絲碰撞坐標的上邊界坐標低于螺絲的水平質檢參考線坐標時，判定螺絲已成功打入指定位置；若電動螺絲刀碰撞坐標的下邊界坐標高于電動螺絲刀的水平質檢參考線坐標，且螺絲碰撞坐標的上邊界坐標高于螺絲的水平質檢參考線坐標時，判斷螺絲未成功打入指定位置。

3.根據權利要求1所述的基于機器視覺和有限狀態機FSM的電動螺絲刀檢測方法，其特征在于，通過本狀態機處于最終態時的輸入邊緣圖像中螺絲的碰撞坐標和螺絲左右兩側垂直質檢參考線坐標的位置關系判斷螺絲未打入指定位置的原因包括：

若螺絲碰撞坐標的左邊界坐標或右邊界坐標中有任一坐標的位置處在螺絲的左、右垂直質檢參考線坐標范圍之外，且其另一坐標的位置處在左、右垂直質檢參考線范圍之內，則判定螺絲未打入指定位置的原因是未垂直打入；若螺絲碰撞坐標的左邊界坐標和右邊界坐標均在螺絲的左、右垂直質檢參考線坐標范圍之內，則判斷螺絲未打入指定位置的原因是打入高度不足；若螺絲的碰撞坐標與左、右垂直質檢參考線的位置關系均不符合未垂直打入和打入高度不足描述的情況時，則判定螺絲未打入指定位置的原因是出現異常報錯，請人工確認異常。