[發(fā)明專利]視頻處理方法、顯示裝置和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011011403.8
• 申請(qǐng)日: 2020-09-23
• 公開（公告）號(hào): CN112333491B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 楊驍;呂晴陽(yáng);李耔余;陳怡;陳浩;王國(guó)暉;楊建朝;任龍;劉舒;連曉晨;梅星
• 申請(qǐng)（專利權(quán)）人: 字節(jié)跳動(dòng)有限公司
• 主分類號(hào): H04N21/41
• 分類號(hào): H04N21/41;H04N21/422;H04N21/81;H04N21/8547
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 彭久云

1.一種視頻處理方法，用于顯示裝置，包括：

獲取待處理視頻，并對(duì)所述待處理視頻的多個(gè)視頻幀分別打上多個(gè)視頻時(shí)間戳，其中，所述多個(gè)視頻幀與所述多個(gè)視頻時(shí)間戳一一對(duì)應(yīng)；

獲取所述顯示裝置的N個(gè)位姿數(shù)據(jù)，并對(duì)所述N個(gè)位姿數(shù)據(jù)分別打上N個(gè)位姿時(shí)間戳，緩存所述N個(gè)位姿數(shù)據(jù)和所述N個(gè)位姿時(shí)間戳，其中，所述N個(gè)位姿數(shù)據(jù)與所述N個(gè)位姿時(shí)間戳一一對(duì)應(yīng)，N為正整數(shù)；

從所述多個(gè)視頻幀中提取待顯示的視頻幀，根據(jù)所述待顯示的視頻幀對(duì)應(yīng)的視頻時(shí)間戳，從所述N個(gè)位姿數(shù)據(jù)中確定與所述待顯示的視頻幀對(duì)應(yīng)的至少一個(gè)位姿數(shù)據(jù)；

基于與所述待顯示的視頻幀對(duì)應(yīng)的所述至少一個(gè)位姿數(shù)據(jù)，對(duì)虛擬模型的姿態(tài)進(jìn)行調(diào)整，以得到待顯示的虛擬模型；

通過所述顯示裝置同時(shí)顯示所述待顯示的視頻幀和所述待顯示的虛擬模型；

其中，根據(jù)所述待顯示的視頻幀對(duì)應(yīng)的視頻時(shí)間戳，從所述N個(gè)位姿數(shù)據(jù)中確定與所述待顯示的視頻幀對(duì)應(yīng)的至少一個(gè)位姿數(shù)據(jù)，包括：

根據(jù)所述待顯示的視頻幀對(duì)應(yīng)的視頻時(shí)間戳，在由所述N個(gè)位姿時(shí)間戳構(gòu)成的位姿時(shí)間軸上查找與所述待顯示的視頻幀對(duì)應(yīng)的所述視頻時(shí)間戳相對(duì)應(yīng)的參考位姿時(shí)間戳，其中，所述參考位姿時(shí)間戳和所述視頻時(shí)間戳之間的時(shí)間差的絕對(duì)值最小；

將與所述參考位姿時(shí)間戳對(duì)應(yīng)的位姿數(shù)據(jù)作為所述至少一個(gè)位姿數(shù)據(jù)；

其中，在由所述N個(gè)位姿時(shí)間戳構(gòu)成的位姿時(shí)間軸上查找與所述待顯示的視頻幀對(duì)應(yīng)的所述視頻時(shí)間戳相對(duì)應(yīng)的參考位姿時(shí)間戳，包括：

響應(yīng)于所述位姿時(shí)間軸上不存在與所述視頻時(shí)間戳相等的位姿時(shí)間戳，從所述位姿時(shí)間軸上選擇和所述視頻時(shí)間戳之間的時(shí)間差的絕對(duì)值最小的位姿時(shí)間戳作為所述參考位姿時(shí)間戳；

所述待處理視頻包括目標(biāo)物體，所述目標(biāo)物體包括地標(biāo)建筑，N個(gè)位姿數(shù)據(jù)中的每個(gè)位姿數(shù)據(jù)包括視頻采集裝置的位置和角度，所述位置包括所述視頻采集裝置對(duì)應(yīng)的GPS坐標(biāo)，所述角度包括所述視頻采集裝置與所述目標(biāo)物體之間的相對(duì)角度關(guān)系；

所述顯示裝置還包括位姿采集裝置和視頻采集裝置，

其中，獲取待處理視頻包括：利用所述視頻采集裝置采集所述目標(biāo)物體的視頻以得到所述待處理視頻；

將所述待處理視頻的多個(gè)視頻幀分別打上多個(gè)視頻時(shí)間戳包括：在利用所述視頻采集裝置采集所述待處理視頻時(shí)，實(shí)時(shí)獲取所述顯示裝置的系統(tǒng)時(shí)鐘，以得到與所述多個(gè)視頻幀分別對(duì)應(yīng)的所述多個(gè)視頻時(shí)間戳；

獲取所述N個(gè)位姿數(shù)據(jù)包括：在利用所述視頻采集裝置采集所述待處理視頻時(shí)，利用所述位姿采集裝置采集所述視頻采集裝置的位姿數(shù)據(jù)，以得到所述N個(gè)位姿數(shù)據(jù)；

對(duì)所述N個(gè)位姿數(shù)據(jù)分別打上N個(gè)位姿時(shí)間戳包括：在利用所述位姿采集裝置采集所述N個(gè)位姿數(shù)據(jù)時(shí)，實(shí)時(shí)獲取所述顯示裝置的系統(tǒng)時(shí)鐘，以得到與所述N個(gè)位姿數(shù)據(jù)分別對(duì)應(yīng)的所述N個(gè)位姿時(shí)間戳；以及

緩存的所述N個(gè)位姿數(shù)據(jù)和所述N個(gè)位姿時(shí)間戳為最接近當(dāng)前時(shí)刻的N個(gè)位姿數(shù)據(jù)和N個(gè)位姿時(shí)間戳。

2.根據(jù)權(quán)利要求1所述視頻處理方法，其中，所述N個(gè)位姿數(shù)據(jù)中的每個(gè)位姿數(shù)據(jù)包括所述視頻采集裝置的位置和角度。

3.根據(jù)權(quán)利要求1所述視頻處理方法，其中，所述N個(gè)位姿數(shù)據(jù)的數(shù)量為100～200。

4.根據(jù)權(quán)利要求1～3任一項(xiàng)所述視頻處理方法，其中，基于與所述待顯示的視頻幀對(duì)應(yīng)的所述至少一個(gè)位姿數(shù)據(jù)，對(duì)所述虛擬模型的姿態(tài)進(jìn)行調(diào)整，以得到所述待顯示的虛擬模型，包括：

響應(yīng)于與所述待顯示的視頻幀對(duì)應(yīng)的所述至少一個(gè)位姿數(shù)據(jù)的數(shù)量為1，將與所述待顯示的視頻幀對(duì)應(yīng)的所述至少一個(gè)位姿數(shù)據(jù)作為目標(biāo)位姿數(shù)據(jù)，基于所述目標(biāo)位姿數(shù)據(jù)，對(duì)所述虛擬模型的姿態(tài)進(jìn)行調(diào)整，以得到所述待顯示的虛擬模型；或者

響應(yīng)于與所述待顯示的視頻幀對(duì)應(yīng)的所述至少一個(gè)位姿數(shù)據(jù)的數(shù)量為2，對(duì)與所述待顯示的視頻幀對(duì)應(yīng)的所述至少一個(gè)位姿數(shù)據(jù)進(jìn)行插值處理，以得到與所述待顯示的視頻幀對(duì)應(yīng)的目標(biāo)位姿數(shù)據(jù)，基于所述目標(biāo)位姿數(shù)據(jù)，對(duì)所述虛擬模型的姿態(tài)進(jìn)行調(diào)整，以得到所述待顯示的虛擬模型。

5.根據(jù)權(quán)利要求1～3任一項(xiàng)所述視頻處理方法，其中，通過所述顯示裝置同時(shí)顯示所述待顯示的視頻幀和所述待顯示的虛擬模型包括：

顯示所述待顯示的視頻幀；

將所述待顯示的虛擬模型疊加在所述待顯示的視頻幀上進(jìn)行顯示。