[發(fā)明專(zhuān)利]一種基于DSP的實(shí)時(shí)視頻拼接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210740614.8
• 申請(qǐng)日: 2022-06-28
• 公開(kāi)（公告）號(hào): CN115131209A
• 公開(kāi)（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 唐然;黃曉峰;章天杰;周洋;陸宇;殷海兵;崔燕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T5/50;G06V10/25;G06V10/46;G06V10/75
• 代理公司: 杭州浙科專(zhuān)利事務(wù)所(普通合伙) 33213
• 代理人: 陳潔

1.一種基于DSP的實(shí)時(shí)視頻拼接方法，其特征在于，包括如下步驟：

步驟1：ORB特征提取：采用select操作方式定向選擇數(shù)據(jù)，借助gather和scatter指令將不連續(xù)RAM地址中的數(shù)據(jù)加載到向量寄存器中；

步驟2：特征匹配：在匹配前設(shè)定閾值預(yù)篩選特征點(diǎn)，基于漢明距離進(jìn)行特征點(diǎn)匹配，算法均使用SIMD指令集并行處理多數(shù)據(jù)；

步驟3：系統(tǒng)級(jí)優(yōu)化：采用PING-PONG方式傳輸數(shù)據(jù)，隱藏視頻拼接過(guò)程中外部存儲(chǔ)器訪問(wèn)的周期；基于DAG生成算法調(diào)度表，在雙DSP平臺(tái)上并行執(zhí)行ORB特征提取算法；

步驟4：圖像拼接：對(duì)待匹配圖像做透視變換，利用單應(yīng)性矩陣，由RANSAC算法篩選后匹配點(diǎn)經(jīng)過(guò)計(jì)算得出，最后，兩張待拼接圖像通過(guò)直接拼接得到全景圖像。

2.根據(jù)權(quán)利要求1所述的基于DSP的實(shí)時(shí)視頻拼接方法，其特征在于，所述步驟1首先使用FAST算子檢測(cè)特征點(diǎn)并確定特征點(diǎn)的主方向，最后創(chuàng)建BRIEF描述子，具體步驟如下：

步驟1.1：FAST特征檢測(cè)；

步驟1.2：確定特征點(diǎn)的方向；

ORB算法中采用灰度質(zhì)心法確定特征點(diǎn)的方向；

步驟1.3BRIEF特征描述；

采用FAST算子檢測(cè)出帶有方向的特征點(diǎn)后，對(duì)這些特征點(diǎn)進(jìn)行描述。

3.根據(jù)權(quán)利要求2所述的基于DSP的實(shí)時(shí)視頻拼接方法，其特征在于，所述步驟1.1的FAST是一種快速檢測(cè)特征點(diǎn)算法，具體步驟如下：

步驟1.1.1：建立圖像金字塔；

在圖像金字塔建立這一部分，通過(guò)圖像縮放的方式實(shí)現(xiàn)特征點(diǎn)的尺度不變特性，采用Q21.10數(shù)據(jù)格式，通過(guò)左移10位的定點(diǎn)化方法計(jì)算；

步驟1.1.3特征點(diǎn)精提取；

采用FAST-9特征點(diǎn)檢測(cè)，即計(jì)算得到特征點(diǎn)P與16個(gè)點(diǎn)差的絕對(duì)值中，有連續(xù)9個(gè)絕對(duì)值都大于或小于閾值TH，判定為FAST特征點(diǎn)，此外，基于DSP對(duì)特征點(diǎn)提取計(jì)算過(guò)程優(yōu)化；

步驟1.1.4：特征點(diǎn)的非極大值抑制；

針對(duì)提取后的FAST特征點(diǎn)存在過(guò)度密集的現(xiàn)象，采用非極大值抑制算法解決，非極大值抑制算法并行優(yōu)化和FAST特征點(diǎn)檢測(cè)并行實(shí)現(xiàn)的過(guò)程相同，在3×3鄰域進(jìn)行處理，將特征點(diǎn)和周?chē)?個(gè)對(duì)應(yīng)點(diǎn)并行比較，保留響應(yīng)值最大的特征點(diǎn)。

4.根據(jù)權(quán)利要求3所述的基于DSP的實(shí)時(shí)視頻拼接方法，其特征在于，所述步驟1.1.2先對(duì)圖像中的像素點(diǎn)進(jìn)行粗提取，過(guò)濾掉大部分像素點(diǎn)的具體步驟如下：

步驟1.1.2.1：計(jì)算待檢測(cè)點(diǎn)P與周?chē)?6個(gè)點(diǎn)差的絕對(duì)值；

步驟1.1.2.2：比較對(duì)稱(chēng)點(diǎn)之間的絕對(duì)值，規(guī)則如下：

ξ_i＝MAX(|P-P_i|,|P-P_i+8|)

其中，i∈[0,7]，ξ_i為兩個(gè)絕對(duì)值中的最大值；

步驟1.1.2.3：若步驟2中的ξ_i都大于閾值T，保留點(diǎn)P作為候選特征點(diǎn)，接著進(jìn)行精提取過(guò)程；

粗體取的過(guò)程是遍歷圖像中每一個(gè)點(diǎn)，像素?cái)?shù)據(jù)連續(xù)分布，為了實(shí)現(xiàn)64路并行計(jì)算，首先分析待檢測(cè)點(diǎn)P與周?chē)袼攸c(diǎn)P_i的位置關(guān)系，以P為中心對(duì)應(yīng)的P₆像素點(diǎn)，同時(shí)也是以P^I為中心對(duì)應(yīng)的像素點(diǎn)，按照此規(guī)律，推斷出任何一個(gè)P_i后的像素點(diǎn)與下一個(gè)中心點(diǎn)P^j相對(duì)應(yīng)，以這種方式對(duì)相鄰像素P_i^j和對(duì)應(yīng)的中心點(diǎn)P^j進(jìn)行64路SIMD比較；

采用DSP平臺(tái)select操作中的ROTATE_RIGHT模式發(fā)送64B數(shù)據(jù)到DSP中SIMD比較，其中，select操作是從兩個(gè)輸入向量4N元素中提取2N元素，兩組串聯(lián)64位輸入向量的元素向右移動(dòng)固定數(shù)量，結(jié)果是移位后的最右邊向量。