[發明專利]一種基于特征軌跡的交通視頻去抖方法

有效

• 申請號: 201810442949.5
• 申請日: 2018-05-10
• 公開（公告）號: CN108596858B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 凌強;趙敏達
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;成金玉

1.一種基于特征軌跡的交通視頻去抖方法，其特征在于，包括步驟：

Step1：從交通視頻中逐幀提取特征點，根據特征點匹配得到對應的特征軌跡；

Step2：基于時間和空間的優化函數對Step1得到的特征軌跡進行平滑處理得到平滑的特征軌跡；在平滑處理中使用分布式優化方法；

Step3：基于平滑前后的特征軌跡逐幀進行抖動視角到穩定視角的仿射變換；

所述Step1中特征軌跡提取方式如下：

特征點提取使用的是Harris角點提取；特征描述符使用的是FREAK描述符；對每一條特征軌跡建立矩陣存儲每一幀的位置信息和特征描述符信息；對于新的一幀提取到的特征點進行FREAK描述符的最近鄰匹配；所使用的連續特征軌跡指的是在平滑窗口長度Ω長的時間內被連續匹配上的特征點；

所述Step1中，采用基于反饋的自適應分塊特征點數量控制算法對特征點數量進行控制；

所述基于反饋的自適應分塊特征點數量控制算法具體步驟如下：

對交通視頻中的圖像進行分塊，在每個圖像塊中單獨檢測特征點；

根據每個圖像塊中特征軌跡的數量來調整每個圖像塊中的特征點數量：

首先統計出每個圖像塊內的特征軌跡數量，記為T_i，j，t，(i，j)對應圖像塊索引，t表示幀數，對于下一幀中索引為(i，j)圖像塊中提取的特征點的數量計算如下：

其中θ表示比例因子，該比例因子為每次調整增加或者減少的幅度；ε表示限制變化的最大幅度，用于抑制每次調整增加或者減少的幅度；表示第t幀每一個圖像塊中特征軌跡數量的平均值，表示第t幀每一個圖像塊提取的特征點的平均值：

然后對每一個圖像塊提取的特征點數量進行歸一化操作：

其中，F表示每幀中確定的提取的特征點的總數量，p和q表示分塊的行數和列數。

2.根據權利要求1所述的基于特征軌跡的交通視頻去抖方法，其特征在于，所述Step2中基于時間和空間的優化函數對Step1得到的特征軌跡進行平滑處理得到平滑的特征軌跡具體步驟如下：

基于以下三個假設設計優化函數：

(1)在同一幀內所有的特征軌跡包含相同的相機抖動；

(2)當兩條特征軌跡來源于相同的背景或者前景時，它們包含相同的主動運動；

(3)對于所有的特征軌跡來說，平滑之后的幀間運動是緩慢變化的；

基于以上假設設計如下最小化無約束優化函數：

其中

其中Ω_t表示在t幀時的平滑窗口長度，Ω_t＝{t-ω,...,t,...,t+ω}，S表示在t幀時的連續特征軌跡集合，P_d,k表示在k幀時第d條特征軌跡的坐標，表示在k幀時第d條特征軌跡進行平滑處理后對應的坐標，α_d,e,k、β_d,e,k、λ_m,n、ξ分別表示O₁、O₂、O₃、O₄各項的權重參數；

(1)O₁對同一幀內前景和背景的特征軌跡的抖動量的相似性進行限制，即任意兩條特征軌跡包含相同的相機抖動量；其中

w,h表示視頻的寬度和高度，表示k幀時第d條特征軌跡的橫縱坐標，α_d,e,k越大表示兩條特征軌跡距離越近，這兩條特征軌跡之間的相似約束越強；

(2)O₂對所有特征軌跡的幀間運動相似性進行約束，即相同的前景或背景上的特征軌跡幀間運動相同；是否來源于相同的前景或背景使用β_d,e,k來度量：

β_d,e,k＝α_d,e,k×γ_d,e,k，

其中，γ_d,e,k描述兩條特征軌跡的幀間運動的一致性，γ_d,e,k越大，它們的幀間運動越相似，約束越強；

(3)O₃對特征軌跡的平滑性進行約束，即平滑后的特征軌跡的幀間運動是緩慢變化的，

其中σ＝2ω+1；

(4)O₄約束平滑后的特征軌跡盡可能靠近原始特征軌跡，從而避免過大的仿射變換，其中ξ對取值不敏感，為方便計算取值為1。

3.根據權利要求2所述的基于特征軌跡的交通視頻去抖方法，其特征在于，所述Step2中在平滑處理中使用分布式優化方法具體步驟如下：

對于每一條特征軌跡單獨進行約束和平滑處理，對于任意一條特征軌跡d₀，對于優化函數考慮以下兩個和軌跡d₀距離相近的集合和

其中η設置為0.7，并定義軌跡d₀的鄰居軌跡集合

對于第d₀條軌跡的平滑軌跡求解如下：

然后求解如下分布式優化問題，逐條求取在當前幀的平滑特征軌跡對應的坐標

通過求取所有的P_d,t和進行仿射變換，將抖動幀映射到穩定幀。