[發明專利]一種物體姿態和位移的3D模型同步重現方法及系統

在審

• 申請號: 202011047452.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112150507A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 林蘭芳;袁志浩;王強;林瑞敏
• 申請（專利權）人: 廈門匯利偉業科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06K9/00;G06T17/00;G06T19/00
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 何家富

1.一種物體姿態和位移的3D模型同步重現方法，其特征在于，包括：

在物體側部署物體標識、位置校正標識、攝像頭和傳感器，執行：在物體側部署傳感器，通過傳感器實時采集物體的狀態信息及影響物體狀態的環境信息，并上傳邊緣計算節點；在物體及其主要活動部件上設置物體標識，通過攝像頭實時采集物體的視頻圖像，并將視頻圖像信息上傳邊緣計算節點；在攝像頭的視角范圍內設置一位置校正標識，用于設置攝像頭的空間原點；

在邊緣計算節點執行：實時處理物體的狀態信息及影響物體狀態的環境信息，并輸出物體狀態指標信息，及轉發物體的視頻圖像信息；同時對物體的錯誤狀態或情況進行緊急處理；

在數字孿生平臺執行：接收邊緣計算節點上傳的物體狀態指標信息，并在3D場景下進行狀態顯示；接收物體的視頻圖像信息，從圖像中標識出物體，并分析捕獲物體的姿態和位移信息，生成物體及其主要活動部件的坐標變換，并同步傳輸到3D引擎，進行物體姿態和位移的同步展示。

2.如權利要求1所述的物體姿態和位移的3D模型同步重現方法，其特征在于：所述物體標識、位置校正標識均為ArUco標識。

3.如權利要求1所述的物體姿態和位移的3D模型同步重現方法，其特征在于，所述從圖像中標識出物體，并分析捕獲物體的姿態和位移信息，生成物體及其主要活動部件的坐標變換，具體包括：

識別圖像中的位置校正標識，獲得空間原點；

識別圖像中的物體標識，在圖像中標識出物體及其主要活動部件；

通過PNP算法求解出所述位置校正標識的旋轉矩陣與位移矢量；

通過PNP算法遞歸求解每一個物體標識的旋轉矩陣與位移矢量，從而分析出物體的姿態和位移信息，生成物體及其主要活動部件的坐標變換。

4.如權利要求1所述的物體姿態和位移的3D模型同步重現方法，其特征在于：所述的對物體的錯誤狀態或情況進行緊急處理，具體包括：物體緊急狀態的監控和處置，物體姿態和位移的防錯位、防碰撞處理。

5.一種物體姿態和位移的3D模型同步重現系統，其特征在于，包括：

攝像頭，部署于物體側，用于實時采集物體的視頻圖像，并將視頻圖像信息上傳邊緣計算節點；在攝像頭的視野范圍內設置一位置校正標識，用于設置攝像頭的空間原點；

傳感器，部署于物體側，用于實時采集物體的狀態信息及影響物體狀態的環境信息，并上傳邊緣計算節點；

物體標識，設置于物體及其主要活動部件上，用于標識物體的位置及物體的姿態信息；

邊緣計算節點，用于實時處理物體的狀態信息及影響物體狀態的環境信息，并輸出物體狀態指標信息，及轉發物體的視頻圖像信息；同時對物體的錯誤狀態或情況進行緊急處理；

數字孿生平臺，用于接收邊緣計算節點上傳的物體狀態指標信息，并在3D場景下進行狀態顯示；接收物體的視頻圖像信息，從圖像中標識出物體，分析捕獲物體的姿態和位移信息，生成物體或部件的坐標變換，并同步傳輸到3D引擎，進行物體姿態和位移的同步展示。

6.如權利要求5所述的物體姿態和位移的3D模型同步重現系統，其特征在于：所述物體標識、位置校正標識均為ArUco標識。

7.如權利要求5所述的物體姿態和位移的3D模型同步重現系統，其特征在于：所述數字孿生平臺，具體包括：3D引擎、模型庫、環境和物體狀態處理模塊、物體姿態和位移處理模塊；所述3D引擎用于呈現物體的3D模型、構建環境和物體的3D場景；所述模型庫存儲有物體的3D模型；所述環境和物體狀態處理模塊用于處理邊緣計算節點上傳的物體狀態指標信息及影響物體狀態的環境信息，生成用于在環境和物體的3D場景下進行狀態顯示的信息；所述物體姿態和位移處理模塊用于處理物體的視頻圖像信息，從圖像中標識出物體，并分析捕獲物體的姿態和位移，生成物體或部件的坐標變換，生成用于在環境和物體的3D場景下進行物體姿態和位移同步顯示的信息。