[發(fā)明專利]一種基于DSP的實時視頻拼接方法

在審

• 申請?zhí)枺?/td>: 202210740614.8
• 申請日: 2022-06-28
• 公開（公告）號: CN115131209A
• 公開（公告）日: 2022-09-30
• 發(fā)明（設計）人: 唐然;黃曉峰;章天杰;周洋;陸宇;殷海兵;崔燕
• 申請（專利權(quán)）人: 杭州電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06V10/25;G06V10/46;G06V10/75
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 陳潔

本發(fā)明屬于圖像處理領域，公開了一種基于DSP的實時視頻拼接方法，采用select操作方式定向選擇數(shù)據(jù)，借助gather和scatter指令將不連續(xù)RAM地址中的數(shù)據(jù)加載到向量寄存器中；圖像配準算法部分：在匹配前設定閾值預篩選特征點，基于漢明距離進行特征點匹配。算法均使用SIMD指令集并行處理多數(shù)據(jù)，提高計算效率；采用PING?PONG方式傳輸數(shù)據(jù)，旨在隱藏視頻拼接過程中外部存儲器訪問的周期，從而有效提高數(shù)據(jù)吞吐量。最后，基于DAG生成算法調(diào)度表，在雙DSP平臺上并行執(zhí)行ORB特征提取算法。本發(fā)明減少了計算復雜度；并為計算機視覺相關的算法在DSP平臺上研究提供了參考。

技術(shù)領域

本發(fā)明屬于圖像處理領域，尤其涉及一種基于DSP的實時視頻拼接方法。

背景技術(shù)

視頻拼接的目標是拼接從不同攝像機獲取的多個視頻來生成全景視頻。與單個視頻相比，拼接后的視頻可以獲得更寬的視場(Angle of View,FOV)和更高的視頻分辨率。實時視頻拼接技術(shù)涉及到多種技術(shù)，有相機標定、畸變矯正、特征提取、圖像匹配和圖像融合等。其中，特征提取和圖像匹配的視頻拼接的關鍵技術(shù)，對拼接后的全景視頻的視覺效果起著至關重要的作用。

現(xiàn)在對于視頻拼接的研究主要是對算法的改進，以達到更高的拼接精度，但算法處理的速度達不到實時處理的要求。而且對于實時加速優(yōu)化的研究是基于GPU對指令作流水線處理，忽略了對算法本身并行優(yōu)化。因此，現(xiàn)有的視頻拼接方法存在以下缺點:

(1)傳統(tǒng)的ORB特征提取和圖像匹配算法計算復雜度高，視頻拼接難以實時處理；

(2)系統(tǒng)內(nèi)存和DSP之間的數(shù)據(jù)傳輸時延嚴重，消耗了大量時間；

(3)對于兩張圖像，ORB特征提取算法部分重復執(zhí)行，時間周期延長。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于DSP的實時視頻拼接方法，以解決上述的技術(shù)問題。

為解決上述技術(shù)問題，本發(fā)明的一種基于DSP的實時視頻拼接方法的具體技術(shù)方案如下：

一種基于DSP的實時視頻拼接方法，包括如下步驟：

步驟1：ORB特征提?。翰捎胹elect操作方式定向選擇數(shù)據(jù)，借助gather和scatter指令將不連續(xù)RAM地址中的數(shù)據(jù)加載到向量寄存器中；

步驟2：特征匹配：在匹配前設定閾值預篩選特征點，基于漢明距離進行特征點匹配，算法均使用SIMD指令集并行處理多數(shù)據(jù)；

步驟3：系統(tǒng)級優(yōu)化：采用PING-PONG方式傳輸數(shù)據(jù)，隱藏視頻拼接過程中外部存儲器訪問的周期；基于DAG生成算法調(diào)度表，在雙DSP平臺上并行執(zhí)行ORB特征提取算法；

步驟4：圖像拼接：對待匹配圖像做透視變換，利用單應性矩陣，由RANSAC算法篩選后匹配點經(jīng)過計算得出，最后，兩張待拼接圖像通過直接拼接得到全景圖像。

進一步地，所述步驟1首先使用FAST算子檢測特征點并確定特征點的主方向，最后創(chuàng)建BRIEF描述子，具體步驟如下：

步驟1.1：FAST特征檢測；

步驟1.2：確定特征點的方向；

ORB算法中采用灰度質(zhì)心法確定特征點的方向；

步驟1.3BRIEF特征描述；

采用FAST算子檢測出帶有方向的特征點后，對這些特征點進行描述。進一步地，所述步驟1.1的FAST是一種快速檢測特征點算法，具體步驟如下：

步驟1.1.1：建立圖像金字塔；

在圖像金字塔建立這一部分，通過圖像縮放的方式實現(xiàn)特征點的尺度不變特性，采用Q21.10數(shù)據(jù)格式，通過左移10位的定點化方法計算；