[發明專利]應用于全景視頻的多目標跟蹤方法及全景相機

在審

• 申請號: 201710773980.2
• 申請日: 2017-08-31
• 公開（公告）號: CN107578368A
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 黃敏;陳卓
• 申請（專利權）人: 成都觀界創宇科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T7/277;H04N5/232
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及全景視頻技術領域，尤其涉及一種應用于全景視頻的多目標跟蹤方法及全景相機。

背景技術

全景視頻是由具有一些有時間關聯的全景圖像序列組成，從視頻中可以獲取真實的全景景象，并且可以通過時間來定位視頻幀。拍攝靜止場景的立方體全景視頻的全局運動通常以水平運動為主，覆蓋了360度場景范圍，對于連續多幀的全景圖像而言，目標物體會從立方體全景的一個面移動到相鄰面。由于其具有動態背景，不適合使用背景差的方法進行動態物體的檢測和跟蹤，因此需要設計一種快速高效的立方體全景視頻中的目標跟蹤方法。

現有技術在全景視頻中跟蹤物體的方法，通常根據用戶觀看的角度由全景視頻圖像投影成投影視圖，并將其作為目標跟蹤的輸入圖像。跟蹤過程中建立目標物體的模型，并根據前后幀建立跟蹤目標出現在不同區域的概率，以較大概率的位置作為目標的新位置；采用上述方法的前提是不會出現漏檢，其所關注的方向一定包含需要跟蹤的目標，而在出現漏檢的情況下，其跟蹤的準確性極低，而在需要跟蹤多個目標時，其出現漏檢的大幅提高，從而導致出現現有方法存在全景視頻跟蹤多個目標準確性較低的問題。

而且采用上述方法，首先需要先獲取全景視頻圖像再進行投影得到預設視場的投影圖像，再進行前后幀跟蹤目標出現在不同區域的概率，以概率的大小來確定跟蹤目標的新位置，其計算步驟較多及計算量較大，而且在進行多目標跟蹤時，其計算量會成倍增加，由此導致了全景視頻的跟蹤效率較低的問題。

發明內容

本發明提供了一種應用于全景視頻的多目標跟蹤方法及全景相機，能夠有效準確跟蹤多個跟蹤目標，且能夠提高跟蹤多個跟蹤目標的實時性。

本申請第一方面提供了一種應用于全景視頻的多目標跟蹤方法，包括：

選取全景視頻中的某幀全景圖像為初始幀全景圖像，從所述初始幀全景圖像及之后的每幀全景圖像中選取N個投影圖像，其中，每個投影圖像為對應的全景圖像中的部分圖像的投影，N為不小于2的整數；

從所述初始幀全景圖像選取的N個投影圖像中選取M個跟蹤目標，其中M為不小于1的整數；

以所述初始幀全景圖像為第1幀全景圖像，依次針對第1幀全景圖像之后的每幀全景圖像執行以下步驟，其中，i依次從1取到s，s為大于1的整數：

利用第i幀全景圖像中的N個投影圖像中的每個跟蹤目標進行跟蹤，得到第(i+1)幀全景圖像中的N個投影圖像中跟蹤成功的至少一個跟蹤目標。

結合第一方面，在第一方面的第一種可能的實施方式中，所述從全景視頻中的每幀全景圖像中選取N個投影圖像，具體包括：

從每幀全景圖像中的南北兩極圖像去掉之后的剩余全景圖像中選取N個投影圖像。

結合第一方面或第一方面的第一種可能的實施方式，在第一方面的第二種可能的實施方式中，所述從全景視頻中的每幀全景圖像中選取N個投影圖像，具體包括：

根據全景圖像和投影圖像的像素點之間的對應關系，從全景視頻中的每幀全景圖像中選取N個投影圖像。

結合第一方面，在第一方面的第三種可能的實施方式中，從所述初始幀全景圖像選取的N個投影圖像中選取M個跟蹤目標，具體包括：

根據預設條件，從所述初始幀全景圖像中提取出的N個投影圖像中選取所述M個跟蹤目標。

結合第一方面的第三種可能的實施方式，在第一方面的第四種可能的實施方式中，根據預設條件，從所述初始幀全景圖像中提取出的N個投影圖像中選取所述M個跟蹤目標，具體包括：

根據所述預設條件，從所述初始幀全景圖像中提取出的N個投影圖像中選取所有跟蹤目標；

將所述所有跟蹤目標轉換到同一坐標系中，獲取在同一坐標系中具有重疊區域的跟蹤目標對集；

從所述所有跟蹤目標中去除掉每個跟蹤目標對中的一個跟蹤目標，將余下的全部跟蹤目標作為所述M個跟蹤目標。

結合第一方面的第四種可能的實施方式，在第一方面的第五種可能的實施方式中，從所述所有跟蹤目標中去除掉每個跟蹤目標對中的一個跟蹤目標，將余下的全部跟蹤目標作為所述M個跟蹤目標，具體包括:

獲取每個跟蹤目標對中每個跟蹤目標的置信度；

去除掉每個跟蹤目標對中置信度小的跟蹤目標，得到余下的全部跟蹤目標并將其作為所述M個跟蹤目標。

結合第一方面，在第一方面的第六種可能的實施方式中，從所述所有跟蹤目標中去除掉每個跟蹤目標對中的一個跟蹤目標，將余下的全部跟蹤目標作為所述M個跟蹤目標，具體包括:

獲取每個跟蹤目標對中每個跟蹤目標的置信度；