[發(fā)明專利]圖像處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010784882.0
• 申請(qǐng)日: 2020-08-06
• 公開（公告）號(hào): CN112017216B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 陳聰;袁文亮;姜文杰
• 申請(qǐng)（專利權(quán)）人: 影石創(chuàng)新科技股份有限公司
• 主分類號(hào): G06T7/30
• 分類號(hào): G06T7/30;G06T5/50;G06T5/00
• 代理公司: 深圳瑞天謹(jǐn)誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 44340
• 代理人: 溫青玲

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取多個(gè)視頻幀序列，并對(duì)所述多個(gè)視頻幀序列進(jìn)行同步，所述多個(gè)視頻幀序列分別由多個(gè)攝像頭拍攝；

分別對(duì)所述多個(gè)視頻幀序列中的每組同步的視頻幀進(jìn)行配準(zhǔn)；

分別將配準(zhǔn)后的每組同步的視頻幀進(jìn)行融合，生成融合后的視頻幀；

估算每個(gè)融合后的視頻幀相對(duì)參考坐標(biāo)系的運(yùn)動(dòng)旋轉(zhuǎn)量；

對(duì)所述運(yùn)動(dòng)旋轉(zhuǎn)量進(jìn)行平滑，得到平滑的旋轉(zhuǎn)量；

采用平滑的旋轉(zhuǎn)量對(duì)每個(gè)融合后的視頻幀進(jìn)行旋轉(zhuǎn)和渲染，輸出視頻幀和/或視頻。

2.如權(quán)利要求1所述的圖像處理方法，其特征在于，所述多個(gè)攝像頭位于一個(gè)終端或者相機(jī)，或者位于多個(gè)終端和/或相機(jī)。

3.如權(quán)利要求2所述的圖像處理方法，其特征在于，當(dāng)所述多個(gè)攝像頭位于一個(gè)終端或者相機(jī)時(shí)，所述對(duì)所述多個(gè)視頻幀序列進(jìn)行同步具體為：

分別提取多個(gè)視頻幀序列的時(shí)間戳，通過(guò)所述多個(gè)視頻幀序列的時(shí)間戳對(duì)所述多個(gè)視頻幀序列進(jìn)行同步。

4.如權(quán)利要求2所述的圖像處理方法，其特征在于，當(dāng)所述多個(gè)攝像頭位于多個(gè)終端和/或相機(jī)時(shí)，所述對(duì)所述多個(gè)視頻幀序列進(jìn)行同步具體為：

分別提取多個(gè)視頻幀序列對(duì)應(yīng)的陀螺儀信號(hào)，通過(guò)所述多個(gè)視頻幀序列對(duì)應(yīng)的陀螺儀信號(hào)對(duì)所述多個(gè)視頻幀序列進(jìn)行同步。

5.如權(quán)利要求3所述的圖像處理方法，其特征在于，所述通過(guò)所述多個(gè)視頻幀序列的時(shí)間戳對(duì)所述多個(gè)視頻幀序列進(jìn)行同步具體為：

采用基準(zhǔn)時(shí)間將所述多個(gè)視頻幀序列的時(shí)間戳保持同步。

6.如權(quán)利要求1所述的圖像處理方法，其特征在于，所述對(duì)所述多個(gè)視頻幀序列中的每組同步的視頻幀進(jìn)行配準(zhǔn)具體為：

對(duì)所述多個(gè)視頻幀序列中的每組同步的視頻幀中有重疊區(qū)域的兩幅視頻幀進(jìn)行兩兩配準(zhǔn)。

7.如權(quán)利要求1所述的圖像處理方法，其特征在于，所述參考坐標(biāo)系為第一幀融合后的視頻幀的參考系、拍攝第一幀視頻幀時(shí)慣性測(cè)量單元狀態(tài)的參考系或者地球坐標(biāo)系；

當(dāng)所述參考坐標(biāo)系為所述第一幀融合后的視頻幀的參考系時(shí)，所述估算每個(gè)融合后的視頻幀相對(duì)參考坐標(biāo)系的運(yùn)動(dòng)旋轉(zhuǎn)量具體為：采用視覺(jué)運(yùn)動(dòng)估計(jì)算法估算每個(gè)融合后的視頻幀相對(duì)所述第一幀融合后的視頻幀的參考系的運(yùn)動(dòng)旋轉(zhuǎn)量；

當(dāng)所述參考坐標(biāo)系為拍攝第一幀視頻幀時(shí)慣性測(cè)量單元狀態(tài)的參考系或者地球坐標(biāo)系時(shí)，所述估算每個(gè)融合后的視頻幀相對(duì)參考坐標(biāo)系的運(yùn)動(dòng)旋轉(zhuǎn)量具體為：采用慣性測(cè)量單元方法估算每個(gè)融合后的視頻幀相對(duì)所述參考坐標(biāo)系的運(yùn)動(dòng)旋轉(zhuǎn)量；

或者，

所述估算每個(gè)融合后的視頻幀相對(duì)參考坐標(biāo)系的運(yùn)動(dòng)旋轉(zhuǎn)量具體為：結(jié)合所述視覺(jué)運(yùn)動(dòng)估計(jì)算法和所述慣性測(cè)量單元方法估算每個(gè)融合后的視頻幀相對(duì)所述參考坐標(biāo)系的運(yùn)動(dòng)旋轉(zhuǎn)量。

8.如權(quán)利要求7所述的圖像處理方法，其特征在于，所述采用視覺(jué)運(yùn)動(dòng)估計(jì)算法估算每個(gè)融合后的視頻幀相對(duì)所述第一幀融合后的視頻幀的參考系的運(yùn)動(dòng)旋轉(zhuǎn)量具體包括：

實(shí)時(shí)或離線更新關(guān)鍵幀K，得到所有關(guān)鍵幀K，分別計(jì)算每個(gè)關(guān)鍵幀K相對(duì)所述第一幀融合后的視頻幀的旋轉(zhuǎn)量q_{K_0}；

計(jì)算融合后的視頻幀N和與所述融合后的視頻幀N匹配的同名點(diǎn)最多的關(guān)鍵幀K之間的相對(duì)旋轉(zhuǎn)量q_{N_k}；

獲得所述融合后的視頻幀N相對(duì)所述第一幀融合后的視頻幀的第一旋轉(zhuǎn)量q_{N_0}，其中，q_{N_0}＝q_{N_K}·q_{K_0}；

采用光束平差法對(duì)所述第一旋轉(zhuǎn)量q_{N_0}進(jìn)行優(yōu)化，得到第二旋轉(zhuǎn)量q′_{N_0}，將所述第二旋轉(zhuǎn)量q′_{N_0}作為融合后的視頻幀相對(duì)第一幀融合后的視頻幀的運(yùn)動(dòng)旋轉(zhuǎn)量。