[發明專利]一種基于視覺感知網絡深度學習的行人運動模擬方法

在審

• 申請號: 202011333762.5
• 申請日: 2020-11-25
• 公開（公告）號: CN112597802A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 龔建華;武棟;周潔萍;李文航;孫麇
• 申請（專利權）人: 中國科學院空天信息創新研究院;浙江中科空間信息技術應用研發中心
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G06N3/04
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 陳巍

1.一種基于視覺感知網絡深度學習的行人運動模擬方法，其特征在于，包括以下步驟：

S1.采集若干個行人的運動軌跡圖像，基于所述行人的運動速度數據和運動方向數據，構建行人運動模型；

S2.基于所述行人運動模型，通過模擬仿真三維環境，收集左眼感知圖像和右眼感知圖像，構建左眼感知網絡模型和右眼感知網絡模型，基于所述左眼感知網絡模型和右眼感知網絡模型，構建視覺感知孿生網絡模型；

S3.基于所述視覺感知孿生網絡模型，依據獎勵函數，對所述行人運動模型進行訓練，模擬所述運動速度數據和運動方向數據，構建行人運動模擬模型，用于所述行人的運動模擬，實現所述仿真三維環境的真人運動模擬。

2.如權利要求1所述一種基于視覺感知網絡深度學習的行人運動模擬方法，其特征在于，

所述S2包括，基于若干個時間步，收集所述行人運動模型的單個行人轉移圖像集，進行仿真三維環境模擬，通過模擬左眼和右眼的眼睛位置，收集所述左眼感知圖像和右眼感知圖像。

3.如權利要求2所述一種基于視覺感知網絡深度學習的行人運動模擬方法，其特征在于，

所述左眼感知圖像和右眼感知圖像為RGB圖像。

4.如權利要求1所述一種基于視覺感知網絡深度學習的行人運動模擬方法，其特征在于，

所述視覺感知孿生網絡模型，包括策略函數模型，用于模擬所述運動速度數據和運動方向數據；

通過所述左眼感知網絡模型和右眼感知網絡模型構建所述策略函數模型。

5.如權利要求1所述的一種基于視覺感知網絡深度學習的行人運動模擬方法，其特征在于，

所述左眼感知網絡模型和右眼感知網絡模型，包括，信息提取模塊、決策模塊，其中，所述左眼感知網絡模型和右眼感知網絡模型，具有相同的權重和模型結構；

所述信息提取模塊用于提取所述左眼感知圖像和右眼感知圖像的運動信息；

所述決策模塊用于融合所述運動信息，通過跳線連接加速收斂，輸出所述運動速度數據和運動方向數據。

6.如權利要求5所述一種基于視覺感知網絡深度學習的行人運動模擬方法，其特征在于，

所述信息提取模塊，包括，尺度注意力機制模塊和空間注意力機制模塊；

所述尺度注意力機制模塊，用于尺度權重的學習分配，所述信息提取模塊通過所述尺度權重，獲得所述運動信息的多尺度特征圖塊；

所述空間注意力機制模塊，用于空間位置權重的學習分配，所述信息提取模塊通過所述空間位置權重，基于所述多尺度特征圖塊，獲得空間特征圖塊；

所述決策模塊用于將所述空間特征圖塊進行融合，輸出所述運動速度數據和運動方向數據。