[發明專利]基于計算機視覺實現生產線裝配流程行為監測的系統、方法、裝置、處理器及其存儲介質

在審

• 申請號: 202110937383.5
• 申請日: 2021-08-16
• 公開（公告）號: CN113591790A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 邱亮
• 申請（專利權）人: 上海鉑端科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

1.一種基于計算機視覺實現生產線裝配流程行為監測的系統，其特征在于，所述的系統包括：

圖像檢測處理模塊，用于獲取系統預設目標對象的視頻幀圖像；

目標識別處理模塊，與所述的圖像檢測處理模塊相連接，用于根據所述的預設目標對象的視頻幀圖像獲取相應的預設目標對象的參數信息；

信息校準與存儲處理模塊，與所述的目標識別處理模塊相連接，用于存儲標準校準信息，并與獲取到的預設目標對象的參數信息進行對比，得到相應的監測結果；

報警提示處理模塊，與所述的信息校準與存儲處理模塊相連接，用于根據所述的信息校準與存儲處理模塊得到的監測結果，判斷是否進行報警處理；以及

信息顯示與提示處理模塊，與所述的報警提示處理模塊相連接，用于顯示所述的報警提示處理模塊監測到的錯誤信息，并根據所述的待校準信息給出正確的提示操作。

2.根據權利要求1所述的基于計算機視覺實現生產線裝配流程行為監測的系統，其特征在于，所述的預設目標對象的視頻幀圖像具體包括：

配件類型圖像、配件插座類型圖像、服務器單板類型圖像以及服務器單板狀態圖像。

3.根據權利要求2所述的基于計算機視覺實現生產線裝配流程行為監測的系統，其特征在于，所述的標準校準信息具體包括：

配件類型標準信息、配件插座類型標準信息、服務器單板類型標準信息以及服務器單板狀態標準信息。

4.一種利用權利要求3所述的系統實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的方法包括以下步驟：

(1)利用所述的圖像檢測處理模塊，獲取指定位置處的標準識別視頻幀圖像；

(2)將所述的標準識別視頻幀圖像進行數據標注，并將其輸入到深度學習算法中進行參數訓練，獲取訓練后的標準算法模型；

(3)系統預設目標對象開始工作，所述的圖像檢測處理模塊獲取所述的系統預設目標對象在裝配過程中的待識別視頻幀圖像；

(4)將所述的待識別視頻幀圖像輸入到YOLOv5深度神經網絡，并根據預先訓練好的所述的標準算法模型，獲取當前各個部件的裝配狀態；

(5)根據所述的裝配狀態判斷是否進行報警與提示處理，直至各個部件均滿足安裝需求后，完成行為監測。

5.根據權利要求4所述的實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的步驟(1)具體為：

利用所述的圖像檢測處理模塊，獲取當前所述的指定位置處的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像。

6.根據權利要求5所述的實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的步驟(2)具體包括以下步驟：

(2.1)將獲取到所述的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像進行待識別區域的數據標注；

(2.2)將進行數據標注處理后的所述的配件標準類型圖像、配件插座標準類型圖像、服務器單板標準類型圖像以及服務器單板標準狀態圖像輸入到深度學習算法中進行標準參數訓練，獲取訓練后的標準算法模型；

(2.3)將所述的標準算法模型作為后續監測實施階段的對比參考。

7.根據權利要求6所述的實現基于計算機視覺的生產線裝配流程行為監測的方法，其特征在于，所述的步驟(3)具體包括以下步驟：

(3.1)系統預設目標對象在指定位置上進行部件裝配；

(3.2)所述的圖像檢測處理模塊采集當前指定位置處的待識別視頻幀圖像，包括：配件類型圖像、配件插座類型圖像、服務器單板類型圖像以及服務器單板狀態圖像。