[發明專利]一種生產行為數字孿生模型的構建方法

有效

• 申請號: 202210370778.6
• 申請日: 2022-04-11
• 公開（公告）號: CN114898285B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 劉庭煜;倪中華
• 申請（專利權）人: 東南大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/764;G06V10/82;G06N3/0464;G06N20/00
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 曹婷

1.一種生產行為數字孿生模型的構建方法，其特征在于，包括：

S1：在生產區域內構建視覺傳感網絡，所述視覺傳感網絡包括深度視覺傳感器和攝像頭；

S2：攝像頭采集RGB圖像，對攝像頭所監管區域進行標定和目標區域劃分，構建目標檢測網絡，然后通過所述目標檢測網絡對目標區域內的關鍵制造資源進行識別與分類，得到關鍵制造資源的識別分類結果和像素坐標，所述像素坐標根據宏觀映射關系f₁得到關鍵制造資源的物理世界坐標；

S3：通過深度視覺傳感器獲取生產場景內全部人員的骨架關節點坐標數據，對骨架關節點坐標數據進行二次處理，得到由骨架關節點間的夾角和距離值組成的特征向量Features；

S4：使用標準化重構方法對所述特征向量Features進行歸一化處理，得到人體行為的時空特征灰度圖像；構建行為識別模型，通過所述行為識別模型對所述時空特征灰度圖像進行時空域的行為識別，得到行為識別結果；

S5：根據微觀映射關系f₂，對人體骨架關節點坐標數據進行處理，將每個骨架關節點的坐標從相機坐標系轉換為世界坐標系，得到生產人員物理世界坐標，所述生產人員物理世界坐標結合所述行為識別結果即生產行為的微觀表述；

S6：將所述關鍵制造資源的物理世界坐標和識別分類結果、所述生產人員物理世界坐標和所述行為識別結果作為生產行為孿生數據構建數字孿生模型。

2.如權利要求1所述的構建方法，其特征在于，所述步驟S2中，所述對攝像頭所監管的區域進行標定和目標區域劃分包括：

S211：將黑白棋盤格標定板放到攝像頭成像區域內，從攝像頭中獲取標定圖片；

S212：通過張正友標定法進行攝像頭標定，得到攝像頭內外參數；

S213：根據攝像頭內外參數對攝像頭采集的生產場景內的RGB圖像進行矯正；

S214：對矯正后的RGB圖像進行目標區域劃分。

3.如權利要求2所述的構建方法，其特征在于，所述步驟S2中，所述通過目標檢測網絡對目標區域內的關鍵制造資源進行識別與分類，得到關鍵制造資源的識別分類結果和像素坐標，包括：

S221：對矯正后的RGB圖像中目標區域內的物體進行人工標記，得到標記后圖像，對標記后圖像的RGB三通道像素值都進行歸一化，得到歸一化圖像；

S222：將歸一化圖像投入到目標檢測網絡中訓練直至模型收斂，得到收斂后的目標檢測網絡；

S223：通過收斂后的目標檢測網絡對來自多攝像頭的視頻幀圖像進行關鍵制造資源的識別與分類，得到關鍵制造資源的識別分類結果和對應的像素坐標。

4.如權利要求3所述的構建方法，其特征在于，所述步驟S2中，所述宏觀映射關系f₁的計算步驟包括：

S231：在實際生產區域中采集二維物理坐標(x，y)，并在對應的所述RGB圖像中獲取(x，y)所對應的像素坐標(u，v)；

S232：利用機器學習的多輸出回歸算法，擬合所述RGB圖像中目標所在的像素坐標(u，v)與實際生產區域中關鍵制造資源所在的物理坐標(x，y)的宏觀映射關系f₁。

5.如權利要求4所述的構建方法，其特征在于，所述步驟S3中，所述通過深度視覺傳感器獲取生產場景內全部人員的骨架關節點坐標數據包括：通過深度視覺傳感器的預設輸出接口獲得生產場景內全部人員的骨架關節點位置信息SkeletonData’＝{x″₁，y″₁，z″₁，...，x″₂₅，y″₂₅，z″₂₅}。