[發明專利]針對視頻圖像的豎直方向滅點檢測方法及視頻扭正方法

有效

• 申請號: 201810659779.6
• 申請日: 2018-06-25
• 公開（公告）號: CN108961182B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 英向華;佟新;石永杰;張單楓;文敬司;查紅彬
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/40
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

本發明公布了一種快速準確的豎直方向滅點檢測方法，并利用此豎直方向滅點檢測方法實現視頻的快速扭正。首先將視頻數據逐幀分離成圖片集；然后通過豎直方向滅點檢測方法獲得豎直方向滅點坐標信息；再利用豎直方向滅點坐標信息，計算圖片變換的單應矩陣；最后將變換后的圖片集合生成新視頻；包括：提取圖片階段、豎直方向滅點檢測階段、圖片扭正階段和視頻合成階段。本發明依靠豎直方向單滅點信息進行視頻扭正，魯棒性好，計算速度快。將滅點檢測轉化為對偶空間中三角函數曲線參數的計算，將檢測的直線近似成曲線的切線，使得遠距離的滅點檢測更準確，得到的視頻圖像更加符合人們的視覺習慣。

技術領域

本發明涉及滅點檢測及視頻扭正技術，尤其涉及一種豎直方向滅點檢測方法及應用了豎直方向滅點檢測的新的視頻扭正方法，可快速扭正視頻中的場景。

背景技術

攝像機拍攝的視頻中大部分包含建筑物等豎直結構，由于拍攝視角和抖動等因素會導致圖像中本應該豎直的結構發生傾斜。圖像矯正的一般方法是對圖像做射影變換。一些方法直接利用圖像中提取的邊緣、角點求解所需的單應矩陣，但這類方法受噪聲影響很大，對提取精度要求很高。另一些方法利用了多滅點信息，這種模型對滅點的可見性和正交性要求較高。

滅點是指在針孔相機模型下，三維空間的平行線在成像平面的投影交匯的點。滅點檢測是計算機視覺中的基本問題，可以應用于攝像機標定、三維重建及自動駕駛等任務中。

目前的滅點檢測方法一般分為三步：第一步為提取圖像中的方向單元，比如線段；第二步是對方向單元進行聚類，形成候選的滅點；第三步是通過一些迭代的方法對滅點進行修正，去除偽滅點。一些滅點檢測方法應用了更高級的先驗知識，比如曼哈頓假設、水平線信息以及焦距信息等。然而，這些滅點檢測方法在檢測距離圖像比較遠的滅點時，準確率會下降，而且計算開銷很大，耗時比較長。

發明內容

為了克服上述現有技術的不足，本發明提供一種快速準確的豎直方向滅點檢測方法，并利用此豎直方向滅點檢測方法實現視頻的快速扭正，使得視頻圖像更加符合人們的視覺習慣。

為了實現這一目的，首先將視頻逐幀分離成圖片集，對每一張圖片提取線段，將線段轉換成ρ-θ對偶空間中帶權重的點，采用帶權重的隨機抽樣一致算法(random sampleconsensus，RANSAC)，在對偶空間進行直線擬合，根據直線參數計算圖像坐標系下滅點坐標，據此計算圖片變換的單應矩陣，將變換后的圖片集合成新視頻。

本發明的技術方案如下：

一種針對視頻圖像的豎直方向滅點檢測方法，包括如下步驟：

1)提取圖片中的線段：對于每一幀圖片，將圖片轉化成灰度圖像，使用LSD(LineSegment Detector，線段檢測器)方法提取圖片中的線段，只保留與豎直方向夾角在設定范圍內的線段，具體實施時，取夾角范圍為

2)變換到對偶空間：將步驟1)中保留的線段表示為ρ-θ對偶空間中帶權重的點，θ代表原點到線段所在直線的垂線與x軸所成夾角，ρ表示原點到線段所在直線距離，權重值為圖像坐標系下線段的長度；

3)在對偶空間做直線擬合，并且對直線進行修正：使用帶權重的RANSAC方法在對偶空間中擬合直線，每一條直線的置信度score通過式1計算得到：

其中，P為內點集合，value_i為第i個內點的權重；

根據RANSAC內點，使用最小二乘法對直線進行修正。

4)計算得到豎直方向滅點坐標：

根據修正后的直線求解豎直方向滅點坐標，具體方法為：假設擬合直線為滅點對應三角函數的切線，滅點的圖像坐標表示為式2：