[發明專利]一種將線搜索擴展于全景視頻運動估計的方法

有效

• 申請號: 200910092868.8
• 申請日: 2009-09-09
• 公開（公告）號: CN101667295A
• 公開（公告）日: 2010-03-10
• 發明（設計）人: 周忠;吳威;陳珂;牛犇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京科迪生專利代理有限責任公司
• 代理人: 李新華;徐開翟

1.一種將線搜索擴展于立方體全景視頻運動估計的方法，其特征在于：將連續采集的 立方體全景視頻分為參考幀和預測幀，預測幀被分成若干宏塊，在擴展的參考幀內搜索預 測幀宏塊的運動向量，具體包含的步驟如下：

(1)利用參考幀各面的上，下，左，右的鄰接圖像對參考幀的各面圖像進行擴展；

(2)從預測幀的宏塊中，選取第一個沒有做搜索的宏塊，對該第一個沒有做搜索的宏 塊采用線搜索方法在擴展的參考幀中進行搜索，尋找最小塊誤差點，并返回最小塊誤差點 所對應的運動向量，完成線搜索的該宏塊即為線搜索的已匹配塊；

(3)以步驟(2)中線搜索的已匹配塊為起點，對相鄰的宏塊進行擴展搜索，獲取相應的 運動向量；

(4)檢查預測幀是否有宏塊沒有做搜索匹配，如果還有宏塊沒有做搜索匹配，則進入 步驟(2)，否則結束；

其中，所述步驟(2)中的線搜索方法根據立方體全景各面圖像的宏塊的運動趨勢決定初 始搜索直線的方程x＝ky+p，其中參數k表示初始搜索直線的斜率，p表示初始搜索直線的 截距，參數k和p的計算方法如下述公式所示：

p＝x_m-ky_m

其中，(x_m，y_m)表示待搜索塊的位置坐標，(x_c，y_c)表示圖像中心的坐標；

線搜索方法包括以下步驟：

(1.1)對待搜索塊所位于直線及其相鄰的兩條平行線進行搜索；如果待搜索塊位于直 線x＝ky+p，則需要對位于x＝ky+p+1，x＝ky+p，x＝ky+p-1上的點進行檢測；若最小塊誤差點 在直線x＝ky+p+1上，則進入(1.2)，若最小塊誤差點在直線x＝ky+p-1上，則進入步驟(1.3)， 否則進入步驟(1.4)；

(1.2)令p＝p+1，檢測位于直線x＝ky+p+1上所有點；如果最小塊誤差點在直線x＝ky+p 上，則進入步驟(1.4)，否則重復當前步驟；

(1.3)令p＝p-1，檢測位于直線x＝ky+p-1上所有點；如果最小塊誤差點在直線x＝ky+p 上，則進入步驟(1.4)，否則重復當前步驟；

(1.4)返回最小塊誤差點所對應的運動向量。

2.根據權利要求1所述的將線搜索擴展于立方體全景視頻運動估計的方法，其特征在 于：所述的步驟(3)中的擴展搜索使用D_w、M_w、N_w三個宏塊集合來表示第w輪擴展搜索時三 種不同類型的宏塊，其中，D_w表示待擴展搜索宏塊集，M_w表示擴展搜索成功宏塊集，N_w表示 擴展搜索失敗宏塊集，線搜索已匹配塊的宏塊坐標為(i，j)，對宏塊坐標(i，j)相鄰的宏 塊進行擴展搜索包括以下步驟：

(3.1)令擴展次數w＝0，初始化待擴展搜索宏塊集D_w，擴展搜索成功宏塊集M_w，擴展搜 索失敗宏塊集N_w；線搜索已匹配塊的宏塊坐標為(i，j)，則待擴展搜索宏塊集，擴展搜索 成功宏塊集，擴展搜索失敗宏塊集的初始狀態D₀、M₀、N₀如下述公式所示：

D₀＝φ

M₀＝{m(i，j)}

N₀＝φ

其中，φ表示空集，M₀所包含的宏塊m(i，j)即為完成線搜索的已匹配塊；

(3.2)令擴展次數w＝w+1，計算第w輪的待擴展搜索宏塊集D_w；根據宏塊運動向量的相 關性，待匹配塊參考相鄰的已匹配塊的運動向量，所以待擴展搜索的宏塊集D_w通過第w-1 輪的擴展搜索成功宏塊集M_w-1生成，如下述公式所示：

D_w＝{d(i+w，j+u)|m(i+w-1，j+u)∈M_w-1}

∪{d(i+v，j+w)|m(i+v，j+w-1)∈M_w-1}

∪{d(i+w，j+w)|m(i+w-1，j+w-1)∈M_w-1}

其中，(i，j)表示線搜索已匹配塊的宏塊坐標，w表示擴展次數，u和v表示宏塊坐標 的偏移量；

(3.3)第w輪待擴展搜索宏塊集D_w中的宏塊d(s，t)按照下述公式所示的運動向量參考 關系R，在M_w-1中宏塊的運動向量的基礎上，進行搜索獲取各宏塊的最小塊誤差點；

R(d(s,t))=m(s,j+w-1),t=j+w,m(s,j+w-1)∈Mw-1m(i+w-1,t),s=i+w,m(i+w-1,t)∈Mw-1m(i+1w-1,j+w-1),s=i+w,t=j+w,m(i+w-1,j+w-1)∈Mw-1]]>

其中，(i，j)表示線搜索已匹配塊的宏塊坐標，w表示擴展次數，s和t表示宏塊坐標；

(3.4)根據步驟(3.3)獲取的D_w中各宏塊的最小塊誤差點，檢查D_w中各宏塊的最小塊誤 差值與閾值的大小關系，最小塊誤差值小于閾值的宏塊被認為是擴展搜索成功的宏塊，而 最小塊誤差值大于閾值的宏塊被認為是擴展搜索失敗的宏塊，第w輪擴展搜索成功宏塊集 M_w如下述公式所示：

M_w＝{m(s，t)|d(s，t)∈D_w且MBD(s，t)≤TSS}

其中，(s，t)為宏塊坐標，TSS表示閾值；

第w-1輪擴展搜索失敗的宏塊會導致第w輪擴展搜索中一些宏塊沒有運動向量可供參 考，這些沒有運動向量可供參考的宏塊也被認為是第w輪擴展搜索失敗的宏塊；所以，第w 輪擴展搜索失敗宏塊集N_w包括最小塊誤差值大于閾值的宏塊以及沒有運動向量可供參考 的宏塊，如下述公式所示：

N_w＝{D_w-M_w}

∪{n(i+w，j+u)|n(i+w-1，j+u)∈N_w-1}

∪{n(i+v，j+w)|n(i+v，j+w-1)∈N_w-1}

∪{n(i+w，j+w)|n(i+w-1，j+w-1)∈N_w-1}

其中，(i，j)表示線搜索已匹配塊的宏塊坐標，w表示擴展次數，u和v表示宏塊坐標 的偏移量；

(3.5)若M_w＝φ，則擴展搜索結束，獲取各輪擴展搜索成功宏塊的運動向量，即M₁， M₂，…，M_w-2，M_w-1中各宏塊相應的運動向量；否則，進入步驟(3.2)。