[發明專利]一種基于多視角相機估計場景下行人共同關注目標的方法

有效

• 申請號: 202011359332.0
• 申請日: 2020-11-27
• 公開（公告）號: CN112766033B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 鞏晨星;王松
• 申請（專利權）人: 天津大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/17;G06V10/82;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明提供一種基于多視角相機估計場景下行人共同關注目標的方法，其特征在于，包括以下步驟：(一)相機之間的同步；(二)獲取同步后任一時刻下所有相機捕獲的行人集合并標記；(三)獲取行人的注意力信，方法如下：(1)進行頭部姿態檢測，獲取水平相機拍攝下圖像行人的頭部姿態角；(2)提取行人的偏航角，記錄為行人的頭部朝向；(3)對于多個相機捕獲到的同一行人，為減小誤差，僅保留獲取行人分辨率最大的相機下的行人頭部朝向，獲得各個水平視角相機獲得的行人頭部朝向集合；(四)行人注意力信息映射到俯瞰視角下；(五)估計共同關注目標。

所屬技術領域

本發明屬于計算機視覺領域，涉及視頻、圖像處理技術，具體為一種基于多視角相機估計場景下行人 共同關注目標的方法。

背景技術

近幾年，隨著拍攝工具的更新迭替與換代升級，如專業相機、運動相機、裝載高清攝像頭的手機、智 能眼鏡、無人機、監控設備或機關人員的執法儀等，高分辨率的視頻漸漸地占據了群眾市場，從視頻中可 以獲取的信息也在日益豐富，焦點不再局限于中心的主體，而是清晰地獲取到當前視角下的完整信息。也 正是如此，視頻的分析工作的精度與需求也得到了進一步提高，從單體的行為分析到群體的行為分析，如 單目標跟蹤算法^[1][2]到多目標跟蹤算法^[3][4]的演變；從室內簡單干凈的場景分析到戶外背景繁雜的場景分析， 如室內人與人之間交互動作的判斷^[5][6]到戶外行人交互信息^[7]的分析；從大幅度的動作識別^[8]再到細微的眼 睛注視方向的變化檢測^[9]，如場景內人的動作類型判別到分析行人的注視方向判斷觀察目標^[10]等等，研究 方向的轉變也在體現了視頻分析的未來發展趨勢。檢測場景內行人共同關注目標，旨在結合場景內多臺相 機拍攝的畫面，對場景內行人正在關注的目標或正在發生的事情做一個具體方位的判斷。在現實生活中， 大型活動的安防人員手持執法儀在場景中移動拍攝局部實時畫面，活動地點的監控攝像頭拍攝俯瞰的全局實時畫面，結合二者通過檢測算法對場景內行人的關注目標進行判斷，進而預測行人的移動方向或調度安 防人員，有助于實時掌控場景內的動態變化。

目前的共同關注目標算法在封閉的室內場景下做了大量的工作，大多是通過近距離的人物臉部特寫來 提取視線信息，進而判斷行人的視線交互。但需要注意的是，這些檢測任務是在穩定和可控的室內環境下 進行的，在這種條件下，所提取的人物的視線信息結果能支持準確的交互目標估計。

然而，當場景變換為室外的開闊場景時，行人的視線信息由于一般的運動相機拍攝的畫面缺乏近距離 的臉部特寫導致幾乎無法捕獲，因此利用視線信息來協助開闊場景的共同目標檢測需對每一位行人進行近 距離的清晰拍攝，這是不現實的。而利用行人的頭部朝向信息來代替視線信息，是一種平衡的方法。另外， 開闊場景內，行人之間往往會形成遮擋，碰撞等不利于檢測的情況，單相機往往局限于這一點，多視角相 機的拍攝可以有效的解決這一問題，并且再利用無人機或高處俯拍相機拍攝的畫面可以協助多相機之間的協調，大大的解決了這一問題。

參考文獻：

[1]Lin T Y,Priya G,Ross G,et al.Focal loss for dense object detection[C].In IEEE International Conference on Computer Vision,2017:2980-2988.

[2]Dai J F,Li Y,He K M.R-FCN:Object detection via region-based fullyconvolutional networks[C].In Proceedings of the International Conference onNeural Information Processing Systems,2016:379–387.