[發(fā)明專利]基于全局運動的視覺目標(biāo)對齊方法

在審

• 申請?zhí)枺?/td>: 202011256300.8
• 申請日: 2020-11-11
• 公開（公告）號: CN112508998A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 毋立芳;趙博煊;趙寬;楊雨辰;簡萌;相葉;石戈
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

本發(fā)明提出了一種基于全局運動的視覺目標(biāo)對齊方法，為了使冰壺項目運動員的訓(xùn)練更為科技化，能夠更好的觀察冰壺完整的運動路徑。本方法通過分析冰壺運動視頻可以獲得視頻中冰壺的跟蹤數(shù)據(jù)，并且通過計算可以得到相機鏡頭的運動，用該運動對視頻中的場地進行還原處理，進而得到冰壺場地的運動數(shù)據(jù)。將場地運動數(shù)據(jù)和冰壺跟蹤數(shù)據(jù)相結(jié)合，最后計算得到完整的冰壺運動軌跡，輸出可視化結(jié)果。通過測試驗證了該方法的可行性，具有重要應(yīng)用價值。

技術(shù)領(lǐng)域

本發(fā)明設(shè)計圖像處理領(lǐng)域，具體涉及與基于全局運動的視覺目標(biāo)對齊。 該方法根據(jù)架設(shè)在體育場內(nèi)的專用攝像機所拍攝的冰壺比賽視頻，順序輸入 圖像，通過目標(biāo)跟蹤和鏡頭運動還原獲得冰壺跟蹤軌跡。

背景技術(shù)

視頻是由一個或多個鏡頭組成的，而每個鏡頭又是有連續(xù)的幀組成的， 因此，獲取冰壺運動軌跡的問題可以轉(zhuǎn)換為獲取每個視頻幀中冰壺位置坐標(biāo) 的問題和獲取鏡頭運動的問題。冰壺位置坐標(biāo)要通過目標(biāo)檢測算法來獲取， 目前對于目標(biāo)檢測的研究已經(jīng)有很大進展，目標(biāo)檢測的任務(wù)是找出圖像中所 有感興趣的目標(biāo)(物體)，確定它們的類別和位置，是計算機視覺領(lǐng)域的核心 問題之一。由于各類物體有不同的外觀，形狀，姿態(tài)，加上成像時光照，遮 擋等因素的干擾，目標(biāo)檢測一直是計算機視覺領(lǐng)域最具有挑戰(zhàn)性的問題。目標(biāo)檢測的方法可以分為兩類，一類是利用傳統(tǒng)方法，比如幀差法、背景減除 法、光流法等等，這些傳統(tǒng)的目標(biāo)檢測方法大多數(shù)是基于手工特征所構(gòu)建的 計算方法。另一類是基于深度學(xué)習(xí)的目標(biāo)檢測算法，深度學(xué)習(xí)相對于傳統(tǒng)目 標(biāo)檢測算法能夠提取更加高層和更好的表達目標(biāo)的特征，還能將特征的提取、 選擇和分類集合在一個模型中。

獲取鏡頭運動信息可以通過光流得到，但考慮到冰壺場地的特殊性， 在拍攝過程中，絕大部分時間內(nèi)屏幕都會被白色場地所占據(jù)，鏡頭的運動不 能很好的體現(xiàn)出來。因此，從這樣的視頻提取得到的光流中無法表達出全局 運動。也就無法進行后續(xù)的計算。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種基于全局運動的視覺目標(biāo)對齊 方法。目標(biāo)檢測部分使用深度學(xué)習(xí)算法實現(xiàn)，鏡頭運動的估計通過幀與幀之 間角點匹配的辦法實現(xiàn)，得到了良好的視覺目標(biāo)對齊效果。

本發(fā)明的具體步驟如下:

步驟一：對于輸入的視頻，以視頻幀序列的方式讀取，對畫面中出 現(xiàn)的冰壺進行目標(biāo)檢測，得到每一幀中每個冰壺的位置坐標(biāo)。

步驟二：對輸入的視頻進行全局運動估計，分別檢測出視頻每幀圖 像的角點，通常意義上來說，角點就是極值點，即在某方面屬性特別突出的 點，角點檢測的基本思想是使用一個固定窗口(取某個像素的一個鄰域窗口) 在圖像上進行任意方向上的滑動，比較滑動前與滑動后兩種情況，窗口中的 像素灰度變化程度，如果存在任意方向上的滑動，都有著較大灰度變化，那 么我們可以認(rèn)為該窗口中存在角點。之后將每兩幀之間檢測到的角點進行配 對，根據(jù)配對成功的角點計算每兩幀之間的仿射變換矩陣。從仿射變換矩陣 中提取出后一幀相對于前一幀的全局運動變量，即水平方向位移量、垂直方 向位移量、傾斜角度、縮放尺度。將視頻圖形幀序列每兩幀之間的全局運動 變量依序輸出后，通過后續(xù)的計算即可完成對攝像機全局運動路徑的估計。

步驟三：在視頻最后一幀中標(biāo)注出冰壺計分區(qū)域中心的位置坐標(biāo)， 并對其使用步驟二中得到的兩幀之間的全局運動變量進行計算，得到前一幀 中的計分區(qū)域中心的位置坐標(biāo)并輸出。以此類推，從視頻最后一幀開始，最 終得到每一幀里計分區(qū)域中心點的位置坐標(biāo)。

步驟四：在步驟三的基礎(chǔ)上，以冰壺計分區(qū)域中心點為原點建立坐 標(biāo)系，該坐標(biāo)系的x軸數(shù)值由左向右遞增，y軸數(shù)值由上到下遞增。將步驟一 中得到的每幀里冰壺位置坐標(biāo)與該幀中計分區(qū)域中心點位置坐標(biāo)相減，得到 的結(jié)果即為冰壺相對于計分區(qū)域中心點的坐標(biāo)。將每一幀都按此方法處理之 后，將得到的所有結(jié)果繪制在冰壺比賽場地的全景圖上，即可得到冰壺完整 運動軌跡的可視化數(shù)據(jù)。

本發(fā)明有如下優(yōu)點：