[發(fā)明專利]基于無人機(jī)POS數(shù)據(jù)的視頻融合方法、系統(tǒng)、介質(zhì)及裝置

有效

• 申請?zhí)枺?/td>: 202110361880.5
• 申請日: 2021-04-02
• 公開（公告）號: CN113099266B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 曾靖杰;劉盛中;侯永順
• 申請（專利權(quán)）人: 云從科技集團(tuán)股份有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/258;H04N21/44;H04N21/45;H04N21/472
• 代理公司: 北京瀚仁知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11482
• 代理人: 王文凱;宋寶庫

1.一種基于無人機(jī)POS數(shù)據(jù)的視頻融合方法，其特征在于，所述視頻融合方法包括：

獲取初始視頻在選定的第一視頻幀位置的第一POS數(shù)據(jù)和第一圖像數(shù)據(jù)；

將待拼接視頻的各第二POS數(shù)據(jù)分別與所述第一POS數(shù)據(jù)進(jìn)行匹配，并將匹配成功的第二POS數(shù)據(jù)所在的視頻幀位置確定為第二視頻幀位置；

獲取所述待拼接視頻在所述第二視頻幀位置的第二圖像數(shù)據(jù)；

基于所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)將所述初始視頻與所述待拼接視頻進(jìn)行融合；

“基于所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)將所述初始視頻與所述待拼接視頻進(jìn)行融合”的步驟包括：

通過SURF算法提取所述第一圖像數(shù)據(jù)中的多個第一特征點(diǎn)和所述第二圖像數(shù)據(jù)中的多個第二特征點(diǎn)，并確定多個所述第一特征點(diǎn)與多個所述第二特征點(diǎn)之間的匹配關(guān)系；

基于多個所述第一特征點(diǎn)與多個所述第二特征點(diǎn)之間的匹配關(guān)系，通過RANSAC算法確定所述第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)之間的匹配模型；

基于所述匹配模型對所述第二圖像數(shù)據(jù)進(jìn)行預(yù)處理，以得到與所述第一圖像數(shù)據(jù)的尺寸和形狀相匹配的預(yù)處理后的第二圖像數(shù)據(jù)；

基于所述第一圖像數(shù)據(jù)和所述預(yù)處理后的第二圖像數(shù)據(jù)將所述初始視頻與所述待拼接視頻進(jìn)行融合；

“基于所述第一圖像數(shù)據(jù)和所述預(yù)處理后的第二圖像數(shù)據(jù)將所述初始視頻與所述待拼接視頻進(jìn)行融合”的步驟包括通過公式(1)和(2)將所述第一圖像數(shù)據(jù)與所述預(yù)處理后的第二圖像數(shù)據(jù)進(jìn)行融合：

公式(1)中，

其中，I₁(x,y)表示第一圖像數(shù)據(jù)的像素點(diǎn)位置矩陣，I₂(x,y)表示所述預(yù)處理后的第二圖像數(shù)據(jù)的像素點(diǎn)位置矩陣，I(x,y)表示將所述第一圖像數(shù)據(jù)與所述預(yù)處理后的第二圖像數(shù)據(jù)進(jìn)行融合后得到的融合圖像的像素點(diǎn)位置矩陣，x₁表示所述第一圖像數(shù)據(jù)與所述預(yù)處理后的第二圖像數(shù)據(jù)的重疊區(qū)域的左邊界在X軸上的坐標(biāo)，x₂表示所述第一圖像數(shù)據(jù)與所述預(yù)處理后的第二圖像數(shù)據(jù)的重疊區(qū)域的右邊界在X軸上的坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的視頻融合方法，其特征在于，“通過SURF算法提取所述第一圖像數(shù)據(jù)中的多個第一特征點(diǎn)和所述第二圖像數(shù)據(jù)中的多個第二特征點(diǎn)，并確定所述第一圖像數(shù)據(jù)中的多個第一特征點(diǎn)與所述第二圖像數(shù)據(jù)中的多個第二特征點(diǎn)之間的匹配關(guān)系”的步驟包括：

通過Hessian矩陣生成所述第一圖像數(shù)據(jù)的多個第一興趣點(diǎn)以及所述第二圖像數(shù)據(jù)的多個第二興趣點(diǎn)；

基于尺度空間濾波器，分別在多個所述第一興趣點(diǎn)中篩選出多個第一特征點(diǎn)以及在多個所述第二興趣點(diǎn)中篩選出多個第二特征點(diǎn)；

通過統(tǒng)計多個所述第一特征點(diǎn)的圓形鄰域內(nèi)的harr小波特征確定出各第一特征點(diǎn)的主方向，以及通過統(tǒng)計多個所述第二特征點(diǎn)的圓形鄰域內(nèi)的harr小波特征確定出各第二特征點(diǎn)的主方向；

依據(jù)各所述第一特征點(diǎn)的主方向生成各所述第一特征點(diǎn)的第一描述子，依據(jù)各所述第二特征點(diǎn)的主方向生成各所述第二特征點(diǎn)的第二描述子；

計算各所述第一描述子與各所述第一描述子之間的歐式距離；

基于歐式距離滿足預(yù)設(shè)距離閾值的第一描述子與第二描述子確定多個所述第一特征點(diǎn)與多個所述第二特征點(diǎn)之間的匹配關(guān)系。

3.根據(jù)權(quán)利要求1所述的視頻融合方法，其特征在于，所述視頻融合方法還包括：

獲取所述初始視頻在選定的連續(xù)多個第一視頻幀位置的第一POS數(shù)據(jù)和第一圖像數(shù)據(jù)；

將待拼接視頻的各連續(xù)多個視頻幀位置的第二POS數(shù)據(jù)分別與所述第一POS數(shù)據(jù)進(jìn)行匹配，并將匹配成功的第二POS數(shù)據(jù)對應(yīng)的連續(xù)多個視頻幀位置確定為連續(xù)多個第二視頻幀位置；

獲取所述待拼接視頻在所述連續(xù)多個第二視頻幀位置的第二圖像數(shù)據(jù)；

基于所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)將所述初始視頻與所述待拼接視頻進(jìn)行融合。