[發明專利]一種生產行為數字孿生模型的構建方法

有效

• 申請號: 202210370778.6
• 申請日: 2022-04-11
• 公開（公告）號: CN114898285B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 劉庭煜;倪中華
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/764;G06V10/82;G06N3/0464;G06N20/00
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 曹婷

本發明公開了一種生產行為數字孿生模型的構建方法，涉及安防管控技術領域，解決了生產行為中人體行為和關鍵資源的管控不夠完整且效率不高的技術問題，其技術方案要點是通過構建視覺傳感網絡、訓練人員行為識別模型和物料種類識別模型，從而構建人員、物料的數字孿生模型，為實現物理世界和信息世界智能互聯與交互融合提供一種有效參考。能夠實現無需人工參與，即可管控車間人員，實時獲取員工動態位置、行為信息，并可實時獲取目標區域內的物料種類以及擺放情況，如有異常立即采取相應管理措施，達到無人化監控。

技術領域

本申請涉及安防管控技術領域，涉及生產管控技術，尤其涉及一種生產行為數字孿生模型的構建方法。

背景技術

隨著時代的發展，以互聯網信息技術和工業生產不斷融合為代表的智能制造技術發展迅速。數字孿生作為將制造信息物理融合的關鍵“粘合劑”逐漸被人們重視，該技術使用數字化手段，將多維度、多尺度的虛擬化模型與現實物理世界深度融合，使二者相互映射、相互影響。目前，已有不少研究成果采用信息傳感器網絡，將產品設計、生產、制造等全生命周期中的多源數據融合，構建產品數字孿生模型。

目前，國內學者對生產環境內的設備、產品的數字孿生體已有不少研究，但對人的數字孿生體缺乏系統性。而人是生產環境中的重要組成部分，也是大部分生產行為的執行主體，因此如何實現人體行為數字孿生模型的快速構建對于生產現場的高效、準確管控有著重要的意義。

另一方面，生產現場中往往會堆放各式各樣的制造資源，這些資源物料的隨意堆放或是錯誤堆放容易導致生產效率的降低乃至危險事件的發生，如何通過數字孿生模型對一些關鍵作業區域內的物料進行查驗，對于生產現場的安全管控極為重要。

發明內容

本申請提供了一種生產行為數字孿生模型的構建方法，其技術目的是將生產場景內人員的數字孿生體、關鍵制造資源的數字孿生體等有效結合形成完整的、全方位的數字孿生模型，進而為實現制造物理世界和信息世界的智能互聯和交互融合提供有效參考，并能夠對生產現場進行高效安全的管控。

本申請的上述技術目的是通過以下技術方案得以實現的：

一種生產行為數字孿生模型的構建方法，包括：

S1：在生產區域內構建視覺傳感網絡，所述視覺傳感網絡包括深度視覺傳感器和攝像頭；

S2：攝像頭采集RGB圖像，對攝像頭所監管區域進行標定和目標區域劃分，構建目標檢測網絡，然后通過所述目標檢測網絡對目標區域內的關鍵制造資源進行識別與分類，得到關鍵制造資源的識別分類結果和像素坐標，所述像素坐標根據宏觀映射關系f₁得到關鍵制造資源的物理世界坐標；

S3：通過深度視覺傳感器獲取生產場景內全部人員的骨架關節點坐標數據，對骨架關節點坐標數據進行二次處理，得到由骨架關節點間的夾角和距離值組成的特征向量Features；

S4：使用標準化重構方法對所述特征向量Features進行歸一化處理，得到人體行為的時空特征灰度圖像；構建行為識別模型，通過所述行為識別模型對所述時空特征灰度圖像進行時空域的行為識別，得到行為識別結果；

S5：根據微觀映射關系f₂，對人體骨架關節點坐標數據進行處理，將每個骨架關節點的坐標從相機坐標系轉換為世界坐標系，得到生產人員物理世界坐標，所述生產人員物理世界坐標結合所述行為識別結果即生產行為的微觀表述；

S6：將所述關鍵制造資源的物理世界坐標和識別分類結果、所述生產人員物理世界坐標和所述行為識別結果作為生產行為孿生數據構建數字孿生模型。

本申請的有益效果在于：

(1)本申請提出了一種可應用于生產場景人員管控的方法，通過構建視覺傳感網絡、訓練人員行為識別模型，能夠實現無需人工參與，即可管控車間人員，實時獲取員工動態位置、行為信息，如有異常立即采取相應管理措施，達到無人化監控。