[發明專利]基于全局運動的視覺目標對齊方法

在審

• 申請號: 202011256300.8
• 申請日: 2020-11-11
• 公開（公告）號: CN112508998A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 毋立芳;趙博煊;趙寬;楊雨辰;簡萌;相葉;石戈
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于全局運動的視覺目標對齊方法，其特征在于，包括以下步驟：

(1)對冰壺運動視頻中的冰壺進行目標跟蹤，得到每一幀中冰壺所在位置的像素點坐標；

(2)對視頻幀與幀之間的角點進行配對，得到仿射變換矩陣，在此基礎上進行估計，得到視頻中攝像機的全局運動數據；

(3)手動獲取視頻最后一幀冰壺計分區域中心點坐標，并用全局運動數據對其進行處理，得到所有幀中計分區域中心點位置坐標；

(4)結合冰壺位置數據和冰壺計分區域中心點位置數據，計算得到冰壺在場地上的完整運動軌跡，避免了鏡頭運動所產生的的干擾，實現視覺目標對齊。

2.根據權利要求1所述的方法，其特征在于步驟(1)中，對冰壺的目標跟蹤的具體方法為：對冰壺進行目標檢測，使用的是siamRPN++深度學習算法，該方法直接對視頻每一幀里的冰壺進行跟蹤，得到冰壺在當前圖像里的位置，返回結果是每一幀里冰壺檢測矩形框的四個角的坐標值；繼續對該結果進行處理，得到矩形框中心位置的坐標，并將其視為冰壺中心位置坐標。

3.根據權利要求1所述的方法，其特征在于步驟(2)中，全局運動的估計方法為：分別對視頻里的每一幀圖像檢測角點，使用的是Shi-Tomasi算法；

角點質量評價方法如下：

其中w(x，y)是窗口函數，I(x，y)是該點的強度，I(x+u，y+v)是該點位移強度，E(u，v)是[u，v]這個方向上的圖像灰度變化；角點檢測需要使E(u，v)的值最大；

由I(x+u，y+v)＝I(x，y)+I_xu+I_yv+O(u²+v²)，其中，O(u²+v²)代表將I(x+u，y+v)展開后，得到的除I(x，y)+I_xu+I_yv以外的余項部分，其大小可以忽略不計；因此得到：

將記為Δ，則，

這里I_x和I_y是x和y方向的導數；令λ₁，λ₂為M的特征值，則打分函數為：

R＝min(λ₁，λ₂)

如果打分R超過設定的角點質量評價值，就認為它是角點；設定的角點質量評價值設置為0.01；

之后根據兩幀之間配對成功的角點，估計出兩幀之間的仿射變換矩陣，從中提取出后一幀相對于前一幀的全局運動變量，包括水平方向位移量、垂直方向位移量、傾斜角度、縮放尺度。

4.根據權利要求1所述的方法，其特征在于步驟(3)中，對于手動獲取到的冰壺計分區域中心點的位置坐標，使用步驟(2)中得到的全局運動變量對其進行處理，便能得到前一幀的計分區域中心點位置坐標；以此類推，直到獲得視頻所有幀中的計分區域中心點位置坐標。

5.根據權利要求1所述的方法，其特征在于步驟(4)中，對步驟(1)得到的冰壺位置數據進行處理，求得冰壺檢測框的中心位置坐標，將該數據與步驟(3)得到的每一幀中冰壺計分區域中心點位置坐標相結合進行計算，得到視頻每一幀中冰壺相對于計分區域中心的相對位置坐標；將該結果繪制在冰壺比賽場地全景圖上，得到冰壺完整運動軌跡的可視化數據。