[發明專利]應用于全景圖像的目標跟蹤方法及全景相機

在審

• 申請號: 201710773963.9
• 申請日: 2017-08-31
• 公開（公告）號: CN107507230A
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 黃敏;陳卓
• 申請（專利權）人: 成都觀界創宇科技有限公司
• 主分類號: G06T7/292
• 分類號: G06T7/292
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及全景視頻技術領域，尤其涉及一種應用于全景圖像的目標跟蹤方法及全景相機。

背景技術

全景視頻是由具有一些有時間關聯的全景圖像序列組成，從視頻中可以獲取真實的全景景象，并且可以通過時間來定位視頻幀。拍攝靜止場景的立方體全景視頻的全局運動通常以水平運動為主，覆蓋了360度場景范圍，對于連續多幀的全景圖像而言，目標物體會從立方體全景的一個面移動到相鄰面。由于其具有動態背景，不適合使用背景差的方法進行動態物體的檢測和跟蹤，因此需要設計一種快速高效的立方體全景視頻中的目標跟蹤方法。

現有技術在全景視頻中跟蹤物體的方法，通常根據用戶觀看的角度由全景視頻圖像投影成投影視圖，并將其作為目標跟蹤的輸入圖像。跟蹤過程中建立目標物體的模型，并根據前后幀建立跟蹤目標出現在不同區域的概率，以較大概率的位置作為目標的新位置；采用上述方法的前提是不會出現漏檢，其所關注的方向一定包含需要跟蹤的物體，而在出現漏檢的情況下，其跟蹤的準確性極低，從而導致出現現有方法存在全景圖像中的目標跟蹤準確性低的問題。

而且采用上述方法，首先需要先獲取全景視頻圖像再進行投影得到預設視場的投影圖像，再進行前后幀跟蹤目標出現在不同區域的概率，以概率的大小來確定跟蹤目標的新位置，其計算步驟較多及計算量較大，因而促使全景視頻的跟蹤效率較低，導致出現全景圖像中的目標跟蹤的實時性較差的問題。

發明內容

本發明提供了一種應用于全景圖像的目標跟蹤方法及全景相機，能夠有效提高目標跟蹤的實時性和準確性。

本申請第一方面提供了一種應用于全景圖像的目標跟蹤方法，包括：

利用N個廣角鏡頭每一時刻采集N個廣角圖像，其中，每一時刻采集的N個廣角圖像對應一幀全景圖像；

根據廣角圖像和投影窗口圖像的像素點之間的對應關系，從所述N個廣角圖像中提取多個投影窗口圖像，其中，所述投影窗口圖像為所述N個廣角圖像對應的全景圖像中的部分圖像的投影，且每個投影窗口圖像與至少一個投影窗口圖像存在重疊區域；

利用相鄰一幀或多幀全景圖像對應的所有廣角圖像中的跟蹤目標，在當前幀全景圖像對應的N個廣角圖像中提取的多個投影窗口圖像中進行跟蹤；其中，所述相鄰一幀或多幀全景圖像在當前幀全景圖像之前。

結合第一方面，在第一方面的第一種可能的實施方式中，在根據廣角圖像和投影窗口圖像的像素點之間的對應關系之前，所述方法還包括：

獲取廣角圖像和投影窗口圖像的像素點之間的對應關系。

結合第一方面的第一種可能的實施方式中，在第一方面的第二種可能的實施方式中，所述獲取廣角圖像和投影窗口圖像的像素點之間的對應關系，具體包括：

根據經緯度坐標、球面坐標和平面坐標的映射關系、以及各個廣角鏡頭之間的姿態關系，計算出全景圖像與所述N個廣角圖像的像素點之間的第一對應關系；

根據投影窗口圖像的劃分規則，獲取全景圖像和投影窗口圖像的像素點之間的第二對應關系；

根據所述第一對應關系和所述第二對應關系，獲取廣角圖像和投影窗口圖像的像素點之間的對應關系。

結合第一方面的第二種可能的實施方式中，在第一方面的第三種可能的實施方式中，所述劃分規則包括基于預設經度的劃分規則、預設緯度的劃分規則和基于預設視場的劃分規則。

結合第一方面的第二種至第三種可能的實施方式中，在第一方面的第四種可能的實施方式中，在利用相鄰一幀或多幀全景圖像對應的所有廣角圖像中的跟蹤目標進行跟蹤過程中，所述方法還包括：

將上一幀的跟蹤成功的目標跟蹤結果顯示在當前幀全景圖像中。

結合第一方面的第四種可能的實施方式中，在第一方面的第五種可能的實施方式中，在將上一幀的跟蹤成功的目標跟蹤結果顯示在當前幀全景圖像中之前，所述方法還包括:

根據所述第一對應關系，將當前幀對應的N個廣角圖像拼接成當前幀全景圖像。

結合第一方面的第二種至第三種可能的實施方式中，在第一方面的第六種可能的實施方式中，所述利用相鄰一幀或多幀全景圖像對應的所有廣角圖像中的跟蹤目標，在當前幀全景圖像對應的N個廣角圖像中提取的多個投影窗口圖像中進行跟蹤，具體包括：

根據所述第二對應關系和相鄰一幀或多幀全景圖像中每幀全景圖像對應的N個廣角圖像，獲取相鄰一幀或多幀全景圖像中每幀全景圖像對應的多個投影窗口圖像；

基于預設條件，從每幀全景圖像對應的N個廣角圖像對應的多個投影窗口圖像中選取所述跟蹤目標；