[發明專利]基于車載相機的場景建模進行運動行人預測的方法和裝置

有效

• 申請號: 201410096105.1
• 申請日: 2014-03-14
• 公開（公告）號: CN104915628B
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 胡平;劉媛;師忠超;魯耀杰
• 申請（專利權）人: 株式會社理光
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 史新宏

1.一種利用車載相機信息的運動行人預測方法,包括：

獲取與行人運動意圖相關的行人周圍的交通場景的基本場景元素；

基于基本場景元素以及行人的隨著時間變化的三維3D距離信息，分析行人行走時的狀態變化與每個周圍基本場景元素之間的關系以獲得基本場景元素與行人狀態變化之間的關系；

利用獲得的關系，建立行人與周圍所有基本場景元素之間的上下文相關模型；以及

基于實時獲得的與當前行人相關的當前場景元素，利用建立的上下文相關模型，對行人下一步的運動狀態進行預測，以生成行人下一步的運動預測結果；

其中，分析行人行走時的狀態變化與每個周圍基本場景元素之間的關系以獲得基本場景元素與行人狀態變化之間的關系包括：

利用動態貝葉斯網絡來建立場景元素與行人狀態變化之間的結構關系；

基于基本場景元素以及行人的隨著時間變化的3D距離信息以及場景元素狀態，生成所述結構關系中場景元素與行人之間的條件轉換概率函數；以及

結合所述結構關系以及條件轉換概率函數，獲得基本場景元素與行人狀態變化之間的關系。

2.如權利要求1所述的運動行人預測方法，獲取與行人運動意圖相關的行人周圍的交通場景的基本場景元素包括：

對利用車載相機捕獲的圖像中的物體進行檢測；以及

識別檢測到的物體以獲取與行人運動意圖相關的行人周圍的交通場景的基本場景元素。

3.如權利要求2所述的運動行人預測方法，對車載相機捕獲的圖像中的物體進行檢測包括：

生成利用車載相機捕獲的車輛前部視野中的連續圖像的灰度/彩色圖像以及3D深度圖像；

對灰度/彩色圖像以及3D深度圖像中的物體進行檢測。

4.如權利要求1所述的運動行人預測方法，其中，建立行人與周圍所有基本場景元素之間的上下文相關模型包括：

根據識別出的所有基本場景元素彼此之間的關聯性以及所有基本場景元素與行人之間的關系，對所有基本場景元素進行聚類以得到分類的場景元素群；以及

基于分類的場景元素群以及基本場景元素與行人狀態變化之間的關系，建立行人與所有基本場景元素之間的上下文相關模型。

5.如權利要求1所述的運動行人預測方法，其中，當前時刻與在前時間的條件轉換概率函數之間的關系如下所示：

當前時刻行人與相關基本場景元素的條件轉換概率函數正比于前一時刻行人與相關基本場景元素的條件轉換概率函數與距離加權函數的乘積。

6.一種利用車載相機信息的運動行人預測裝置,包括：

場景元素生成模塊，用于獲取與行人運動意圖相關的行人周圍的交通場景的基本場景元素；

場景元素分析模塊，用于基于基本場景元素以及行人的隨著時間變化的三維3D距離信息，分析行人行走時的狀態變化與每個周圍基本場景元素之間的關系以獲得基本場景元素與行人狀態變化之間的關系；

場景元素建立模塊，用于利用獲得的關系，建立行人與周圍所有基本場景元素之間的上下文相關模型；以及

行人預測模塊，用于基于實時獲得的與當前行人相關的當前場景元素，利用建立的上下文相關模型，對行人下一步的運動狀態進行預測，以生成行人下一步的運動預測結果；

其中，場景元素分析模塊包括：

結構關系建立模塊，用于利用動態貝葉斯網絡來建立場景元素與行人狀態變化之間的結構關系；

條件轉換概率生成模塊，用于基于基本場景元素以及行人的隨著時間變化的3D距離信息以及場景元素狀態，生成所述結構關系中場景元素與行人之間的條件轉換概率函數；以及

關系獲得模塊，用于結合所述結構關系以及條件轉換概率函數，獲得基本場景元素與行人狀態變化之間的關系。