[發(fā)明專利]數(shù)字孿生環(huán)境下的生產線不確定對象智能識別與預警方法

有效

• 申請?zhí)枺?/td>: 202110896179.3
• 申請日: 2021-08-05
• 公開（公告）號: CN113658325B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設計）人: 王昊琪;李浩;黃榮杰;劉根;杜鴻鈺;李兵;文笑雨;張玉彥;孫春亞
• 申請（專利權）人: 鄭州輕工業(yè)大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06T15/00;G06T7/80
• 代理公司: 北京哌智科創(chuàng)知識產權代理事務所(普通合伙) 11745
• 代理人: 張元媛

本發(fā)明提出一種數(shù)字孿生環(huán)境下的生產線不確定對象智能識別與預警方法，首先建立非生產線系統(tǒng)不確定物理對象的模型庫；其次，附加非生產線系統(tǒng)不確定物理對象的屬性數(shù)據(jù)；將建立的非生產線系統(tǒng)不確定物理對象的模型庫及其附加屬性數(shù)據(jù)導入現(xiàn)有生產線數(shù)字孿生系統(tǒng)的模型庫中；基于YOLO方法對進入生產線系統(tǒng)的不確定物理對象進行自動檢測；基于雙目視覺對進入生產線系統(tǒng)的不確定物理對象的實際大小進行自動檢測；對于不安全對象，綜合采用語音提示、系統(tǒng)報警、信息推送等手段進行危險預警；對于安全對象，在所建立的模型庫中匹配出對應的三維模型；最終，將匹配到的三維模型加載到生產線數(shù)字孿生系統(tǒng)中。

技術領域

本發(fā)明涉及生產線調控的數(shù)字化，智能化技術領域，特別是指數(shù)字孿生環(huán)境下的生產線不確定對象智能識別與預警方法。

背景技術

數(shù)字孿生(Digital Twin，DT)是實現(xiàn)物理空間和虛擬空間深度融合的有效解決方案之一，最初被定義為一個集成了多物理性、多尺度性、概率性的仿真模型，能夠實時反映真實產品或系統(tǒng)的狀態(tài)。隨著數(shù)字孿生技術的不斷完善，其應用已經擴展到制造、建筑、醫(yī)療、城市和電網等十多個行業(yè)，不同行業(yè)根據(jù)自身業(yè)務場景定義了不同的數(shù)字孿生系統(tǒng)。這些數(shù)字孿生系統(tǒng)的共性特征是精準映射、虛實同步、智能反饋和優(yōu)化迭代。實現(xiàn)這些特征的前提是保證虛擬空間與對應物理空間中的實體在幾何、功能和性能上的一致，即虛擬空間是物理空間的數(shù)字“鏡像”。

本發(fā)明的對象是車間生產線，生產線是由人、物料、設備、網絡和環(huán)境等組成的動態(tài)制造系統(tǒng)。生產線是制造業(yè)的生產能力載體和主要管理對象，更是每個制造企業(yè)分秒必爭的重要系統(tǒng)，因為生產線能否正常運行直接關系到企業(yè)的利潤，由于各種原因導致的生產線停工將給企業(yè)帶來巨大的經濟損失。數(shù)字孿生技術是實現(xiàn)傳統(tǒng)車間生產線數(shù)字化改造和智能化升級的有效途徑，生產線數(shù)字孿生系統(tǒng)是面向工業(yè)產品的生產制造過程，以數(shù)字化方式建立全要素、全流程、全業(yè)務的虛擬模型，通過物理對象與虛擬模型的雙向映射與實時交互，實現(xiàn)工業(yè)產品的生產線設計、生產線規(guī)劃仿真、制造過程優(yōu)化、生產安全管控等功能。

在生產線數(shù)字孿生系統(tǒng)中，非生產線系統(tǒng)的不確定對象的準確識別和快速建模是實現(xiàn)虛實同步和保證生產線正常運行的關鍵。生產線數(shù)字孿生系統(tǒng)中的虛擬模型大多數(shù)是在設計階段構建和確定的，雖然在生產線運行時，通過實時數(shù)據(jù)的感知和反饋，這些虛擬模型能夠隨著物理對象的運行而同步動態(tài)變化。但是，當非生產線系統(tǒng)的不確定物理對象(如非本工位的操作工人、外來物料、外來運輸設備、火情、漏油、漏氣等)突然進入正常運行的生產線系統(tǒng)時，不僅可能影響生產線的穩(wěn)定運行，甚至存在安全隱患。例如，鈑金件在汽車白車身焊接生產線運行時，突然有運送鈑金件到其他車間的叉車誤入生產現(xiàn)場，并沒有通知現(xiàn)場工人，現(xiàn)場工人來不及反應就存在與叉車碰撞的風險；另外，叉車工人由于不熟悉該生產現(xiàn)場道路，可能在駕駛叉車過程中破壞正在運行的其他設備，導致生產停工。再如，生產線系統(tǒng)中突然出現(xiàn)明火，監(jiān)管人員或者現(xiàn)場工人應根據(jù)火情大小進行預警，當火情較小時，監(jiān)管人員可快速將火撲滅；當火情較大無法控制時，監(jiān)管人員應迅速通知現(xiàn)場工人撤離并停止生產線運行。

根據(jù)以上分析，為了保證生產線數(shù)字孿生系統(tǒng)的虛實同步與安全生產，系統(tǒng)需要能夠準確識別進入生產線系統(tǒng)的不確定物理對象的類型，并快速建立對應的虛擬模型。傳統(tǒng)的方法是采用人工視頻監(jiān)控，通過監(jiān)管人員進行主觀判斷，這種方法存在漏判和誤判的缺陷；另外，即使監(jiān)管人員及時做出了識別，在數(shù)字孿生環(huán)境下，也很難實現(xiàn)生產線數(shù)字孿生系統(tǒng)的虛實同步，因為監(jiān)管人員首先要通知技術人員，同時為技術人員提供物理對象的幾何和位姿等數(shù)據(jù)，再由技術人員建立對應的虛擬模型，再將新建立的模型加載到虛擬生產線中，該過程耗時較長。為此，本發(fā)明提出了一種數(shù)字孿生環(huán)境下的生產線不確定對象智能識別與預警方法。當非生產線系統(tǒng)的不確定物理對象進入正常運行的生產線時，本發(fā)明能夠通過深度學習算法判斷其類型、檢測其位置和大小，當判斷該對象類型屬于危險對象時，能夠及時進行預警，保證安全生產；當判斷該對象類型屬于安全對象時，能夠通過進一步的模型匹配方法在模型庫中匹配相應模型，最終在虛擬生產線中根據(jù)檢測到的實際位置和大小數(shù)據(jù)快速建立對應的虛擬模型，并加載到虛擬生產線中，保證虛擬生產線是物理生產線的數(shù)字“鏡像”。

發(fā)明內容