[發(fā)明專利]用于航拍視頻交通分析的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201880065098.5
• 申請日: 2018-10-01
• 公開（公告）號: CN111201496B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設計）人: 王一杰;王泮渠;陳鵬飛
• 申請（專利權）人: 圖森有限公司
• 主分類號: G05D1/00
• 分類號: G05D1/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 蘇耿輝

公開了一種用于航拍視頻交通分析的系統(tǒng)和方法。特定實施例被配置為：從無人駕駛飛行器(UAV)接收捕獲到的視頻圖像序列；通過去除不必要的圖像來對所述視頻圖像序列進行剪輯；通過選擇參考圖像并且針對所述參考圖像調整其他圖像來使所述視頻圖像序列穩(wěn)定；提取所述視頻圖像序列中的背景圖像以進行車輛分割；執(zhí)行車輛分割以逐個像素地標識所述視頻圖像序列中的車輛；確定每個所標識的車輛的質心、行駛方向和矩形形狀；執(zhí)行車輛追蹤以在所述視頻圖像序列的多個圖像幀中檢測相同的所標識的車輛；并且產生所述視頻圖像序列的輸出和可視化，包括所述背景圖像和每個所標識的車輛的所述圖像的組合。

相關申請的交叉引用

該專利文件要求2017年10月5日提交的美國專利申請第15/725,747號的優(yōu)先權和權益，該申請通過引用的方式全部并入本文。

技術領域

在該專利文件中公開的技術和實施方式大體上涉及用于人類駕駛員建模、軌跡生成和運動計劃、車輛控制系統(tǒng)、自主駕駛系統(tǒng)以及自主駕駛模擬系統(tǒng)的工具(例如系統(tǒng)、裝置、方法、計算機程序產品等)。

背景技術

自主車輛導航是一種用于感測車輛的位置和移動并且基于該感測來自主地控制車輛朝著目的地進行導航的技術。自主車輛導航可以在人員、貨物和服務的運輸中具有重要的應用。

發(fā)明內容

本文公開了一種用于航拍視頻交通分析的系統(tǒng)和方法。航拍視頻交通分析包括以下任務：從飛行器(例如UAV)所捕獲到的航拍視頻中提取交通信息(包括地面車輛的形狀、行駛方向和軌跡)，飛行器以期望的地理位置和高度被定位在路面正上方。航拍視頻是一種用于采集交通信息的廉價的方式。如本文公開的航拍視頻交通分析可以提供對在現(xiàn)實世界交通環(huán)境和狀況中的人類駕駛行為的重要見解。這些人類駕駛行為見解可以用于訓練人類駕駛行為模型，該模型可以與用于配置自主駕駛控制系統(tǒng)的模擬環(huán)境一起使用。在本文所公開的各個示例實施例中，提出了解決方案，用于通過將經典的深度計算機視覺方法與專門定制的深度學習模型相結合，來完成航拍視頻交通分析。本文所公開的示例實施例在大多數狀況下都可以實現(xiàn)像素級準確度。示例實施例還解決了由在典型的交通環(huán)境中的車輛的多樣性所引起的另一具有挑戰(zhàn)性的問題。本文所公開的示例實施例可以識別所有類型的車輛，從如同摩托車的小型車輛到如同運輸拖車的大型車輛。所公開的示例實施例對車輛的大小不敏感，這使得各個實施例適合于所有類型的車輛。

本專利文件尤其提供了一種用于航拍視頻交通分析的系統(tǒng)和方法，該系統(tǒng)和方法可以例如用于人類駕駛員建模、軌跡生成和運動計劃、車輛控制系統(tǒng)、自主駕駛系統(tǒng)以及自主駕駛模擬系統(tǒng)。在所公開的技術的實施方式中，一種系統(tǒng)包括：無人駕駛飛行器(UAV)，配備有相機，以升高的位置被部署在被監(jiān)測的位置處，UAV被配置為使用UAV相機來在預定時間段內捕獲被監(jiān)測的位置的視頻圖像序列；數據處理器；以及圖像處理模塊，可由數據處理器執(zhí)行。圖像處理模塊被配置為：從UAV接收捕獲到的視頻圖像序列；通過去除不必要的圖像來對視頻圖像序列進行剪輯；通過選擇參考圖像并且針對參考圖像調整其他圖像來使視頻圖像序列穩(wěn)定；提取視頻圖像序列中的背景圖像以進行車輛分割；執(zhí)行車輛分割以逐個像素地標識視頻圖像序列中的車輛；確定每個所標識的車輛的質心、行駛方向和矩形形狀；執(zhí)行車輛追蹤以在視頻圖像序列的多個圖像幀中檢測相同的所標識的車輛；并且產生視頻圖像序列的輸出和可視化，包括背景圖像和每個所標識的車輛的圖像的組合。

在所公開的技術的另一實施方式中，一種方法包括：從無人駕駛飛行器(UAV)接收捕獲到的視頻圖像序列；通過去除不必要的圖像來對視頻圖像序列進行剪輯；通過選擇參考圖像并且針對參考圖像調整其他圖像來使視頻圖像序列穩(wěn)定；提取視頻圖像序列中的背景圖像以進行車輛分割；執(zhí)行車輛分割以逐個像素地標識視頻圖像序列中的車輛；確定每個所標識的車輛的質心、行駛方向和矩形形狀；執(zhí)行車輛追蹤以在視頻圖像序列的多個圖像幀中檢測相同的所標識的車輛；以及產生視頻圖像序列的輸出和可視化，包括背景圖像和每個所標識的車輛的圖像的組合。