[發明專利]一種預測目標物軌跡的方法及裝置

在審

• 申請號: 202010163877.8
• 申請日: 2020-03-11
• 公開（公告）號: CN111031351A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 任冬淳;夏華夏;樊明宇;錢德恒;丁曙光
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/44;H04N21/4402;H04N21/845
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

1.一種預測目標物軌跡的方法，其特征在于，所述方法包括：

采集無人駕駛設備所處環境的實際視頻；

對所述實際視頻進行拆分；

在拆分得到的各片段中，確定距當前時刻的時長滿足預設規則的片段，作為子視頻；

根據確定出的子視頻，采用預先訓練的視頻生成模型，生成子預測視頻；

將所述子預測視頻重新確定為子視頻；

根據重新確定的子視頻，重新采用所述視頻生成模型生成子預測視頻，直至生成的各子預測視頻的時長之和不小于預設時長；

將生成的各子預測視頻合成為預測視頻；

識別所述預測視頻中的目標物；

在所述預測視頻中，對識別出的所述目標物進行跟蹤，得到所述目標物在所述預測視頻中的運動軌跡，作為預測的所述目標物在未來的運動軌跡。

2.如權利要求1所述的方法，其特征在于，訓練所述視頻生成模型，具體包括：

獲取歷史上采集的實際視頻作為樣本視頻；

對所述樣本視頻進行拆分，得到若干子樣本視頻；

針對所述樣本視頻中任意兩個相鄰的子樣本視頻，將該兩個相鄰的子樣本視頻中的前一視頻作為待訓練的視頻生成模型的輸入，將該兩個相鄰的子樣本視頻中的后一視頻作為標注，訓練所述待訓練的視頻生成模型。

3.如權利要求1所述的方法，其特征在于，識別所述預測視頻中的目標物，具體包括：

識別出所述預測視頻中預設類型的動態物體，作為目標物。

4.如權利要求1所述的方法，其特征在于，在所述預測視頻中，對識別出的所述目標物進行跟蹤，得到所述目標物在所述預測視頻中的運動軌跡，作為預測的所述目標物在未來的運動軌跡，具體包括：

對所述實際視頻和預測視頻進行拼接，得到綜合視頻；

在所述綜合視頻中，對所述目標物進行跟蹤；

得到所述目標物在所述綜合視頻中的運動軌跡；

將所述運動軌跡對應于所述預測視頻的部分軌跡，作為所述目標物在未來的運動軌跡。

5.如權利要求1所述的方法，其特征在于，在所述預測視頻中，對識別出的所述目標物進行跟蹤，得到所述目標物在所述預測視頻中的運動軌跡，作為預測的所述目標物在未來的運動軌跡之后，所述方法還包括：

根據采集所述實際視頻時的位姿以及采集所述實際視頻的采集設備的參數，將所述運動軌跡進行坐標轉換，得到在世界坐標系下所述目標物未來的運動軌跡。

6.如權利要求1-5任一項所述的方法，其特征在于，所述視頻生成模型包括編碼端和解碼端；

根據所述實際視頻中的至少部分子視頻，采用預先訓練的視頻生成模型，生成預測視頻，具體包括：

將所述實際視頻中的至少部分子視頻輸入所述編碼端，得到所述編碼端輸出的視頻特征；

將所述視頻特征，輸入所述解碼端，得到所述解碼端輸出的子預測視頻。

7.如權利要求6所述的方法，其特征在于，所述編碼端包括卷積神經網絡CNN，所述解碼端包括長短期記憶LSTM網絡。

8.一種預測目標物軌跡的裝置，其特征在于，所述裝置包括：

采集模塊，用于采集無人駕駛設備所處環境的實際視頻；

拆分模塊，用于對所述實際視頻進行拆分；

子視頻確定模塊，在拆分得到的各片段中，確定距當前時刻的時長滿足預設規則的片段，作為子視頻；

子預測視頻生成模塊，根據確定出的子視頻，采用預先訓練的視頻生成模型，生成子預測視頻；

子視頻重新確定模塊，用于將所述子預測視頻重新確定為子視頻；

子預測視頻重新生成模塊，用于根據重新確定的子視頻，重新采用所述視頻生成模型生成子預測視頻，直至生成的各子預測視頻的時長之和不小于預設時長；

合成模塊，用于將生成的各子預測視頻合成為預測視頻；

識別模塊，用于識別所述預測視頻中的目標物；

運動軌跡確定模塊，用于在所述預測視頻中，對識別出的所述目標物進行跟蹤，得到所述目標物在所述預測視頻中的運動軌跡，作為預測的所述目標物在未來的運動軌跡。