[發明專利]數字孿生環境下的生產線不確定對象智能識別與預警方法

有效

• 申請號: 202110896179.3
• 申請日: 2021-08-05
• 公開（公告）號: CN113658325B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 王昊琪;李浩;黃榮杰;劉根;杜鴻鈺;李兵;文笑雨;張玉彥;孫春亞
• 申請（專利權）人: 鄭州輕工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T15/00;G06T7/80
• 代理公司: 北京哌智科創知識產權代理事務所(普通合伙) 11745
• 代理人: 張元媛

1.一種數字孿生環境下的生產線不確定對象智能識別與預警方法，其特征在于，包括如下步驟：

S1、建立非生產線系統不確定物理對象的模型庫：針對具體的車間生產線系統，利用CAD軟件建立可能進入該生產線的所有非生產線系統不確定物理對象的三維實體模型，并對模型進行類型劃分得到模型族；

S2、附加非生產線系統不確定物理對象的屬性數據：根據設計工程師和制造工程師的知識，確定非生產線系統不確定物理對象的屬性數據，包括名稱、編號、類型、外形尺寸、安全性、危險等級，通過CAD軟件的二次開發接口將這些數據直接附加到已經建立的不確定對象的三維實體模型中；

S3、將步驟S1和S2建立的非生產線系統不確定物理對象的模型庫及其附加屬性數據導入現有生產線數字孿生系統的模型庫中；

S4、基于YOLO方法對進入生產線系統的不確定物理對象進行自動檢測；

S5、基于雙目視覺檢測進入生產線系統的不確定物理對象的實際大小；

S6、根據S4和S5的目標檢測的結果，實時判斷進入生產線系統的物理對象的安全性，如果屬于不安全對象，進行步驟S7危險預警，如果屬于安全對象，進行步驟S8模型匹配；

S7、危險預警：對于不安全對象，綜合采用語音提示、系統報警、信息推送的手段進行危險預警，根據不安全對象的危險等級使用不同的預警內容，如果進入生產線系統的是非本生產線的運輸車，通過語音提示現場工人注意安全，并通過信息推送通知車間管理人員進行運輸車輛的身份核實；如果是出現火情，系統發出危險報警，并語音提示所有人員有序撤離；

S8、對于安全對象，根據檢測到的進入生產線的不確定物理對象的類型和大小，在所建立的模型庫中匹配出對應的虛擬模型：首先根據S4步驟得到的類型信息，在S1所建立的非生產線系統不確定物理對象的模型庫中匹配得到相同類型的模型族，再根據S5步驟得到的實際大小，從模型族中匹配找到具體的三維模型；

S9、生產線數字孿生系統不確定對象同步建模。

2.如權利要求1所述的一種數字孿生環境下的生產線不確定對象智能識別與預警方法，其特征在于，所述非生產線系統不確定物理對象的模型庫是模型自動匹配的對象，不僅需要包括不確定物理對象的三維實體模型，還需要附加對應的屬性信息，包括名稱、編號、類型、外形尺寸、安全性和危險等級，通過類型可以識別不確定物理對象所屬的模型族，通過外形尺寸確定所匹配的具體三維實體模型，通過安全性判斷是否需要進行危險預警，通過危險等級，確定危險預警的內容。

3.如權利要求1所述的一種數字孿生環境下的生產線不確定對象智能識別與預警方法，其特征在于，S4中基于YOLO方法對進入生產線系統的不確定物理對象進行自動檢測采用基于深度學習的目標檢測方法YOLO V3對進入生產線系統的不確定物理對象進行目標識別，確定其類型、安全性和危險等級，為了提高目標檢測的準確率，在訓練深度學習模型時需要結合生產線現場監控系統所拍視頻的分辨率、光照、檢測對象與背景的比例，對YOLOV3的參數進行調整，目標檢測完成后，對于屬于不安全對象的，根據危險等級綜合采用語音提示、系統報警、信息推送手段進行危險預警，預警的內容根據危險等級和不安全對象來確定；具體為：將非生產線系統不確定物理對象的圖像作為訓練圖像，分割訓練圖像成C行*C列的網格單元，對分割后的圖像進行標記，確定其邊界框、類型、安全性、危險等級，將這C*C個網格單元進行全卷積神經網絡計算，獲得每個不確定物理對象的損失函數，將被檢圖像分割成D行*D列的網格單元，并進行全卷積神經網絡計算，計算得到(D，D，m)的輸出量，其中m＝x*y，x是每個網格的錨框個數，y＝5+z+2，5分別代表對象是否存在于網格中、邊界框原點的橫坐、邊界框原點的縱坐標、邊界框高度、便捷框寬度，z代表檢測類別的屬相，2代表安全屬性和危險等級，使用交并比IoU和非極大值抑制NMS去除重疊框格，得到進入生產線系統的不確定物理對象的邊界框和類型信息，對于屬于不安全對象的，根據危險等級綜合采用語音提示、系統報警、信息推送手段進行危險預警。