[發(fā)明專利]圖像處理方法、裝置和系統(tǒng)，以及機(jī)器人

有效

• 申請(qǐng)?zhí)枺?/td>: 201910275326.8
• 申請(qǐng)日: 2019-04-08
• 公開（公告）號(hào): CN111800589B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 陳志強(qiáng);崔錦;趙延平;林東;胡斌;彭志
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué);同方威視技術(shù)股份有限公司
• 主分類號(hào): H04N5/262
• 分類號(hào): H04N5/262;H04N5/232;G01C21/18
• 代理公司: 中國(guó)貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 王莉莉

本公開涉及一種圖像處理方法、裝置和系統(tǒng)，以及機(jī)器人。圖像處理方法包括：獲取安裝在移動(dòng)裝置上的攝像機(jī)拍攝的圖像；確定所述攝像機(jī)拍攝所述圖像時(shí)的姿態(tài)角；根據(jù)所述姿態(tài)角，計(jì)算所述圖像相對(duì)于基準(zhǔn)方向的旋轉(zhuǎn)角度；利用基于所述旋轉(zhuǎn)角度的變換矩陣，對(duì)所述圖像進(jìn)行旋轉(zhuǎn)處理。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種圖像處理方法、裝置和系統(tǒng)，機(jī)器人以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

移動(dòng)裝置在多個(gè)位置之間移動(dòng)時(shí)，行駛路線可能發(fā)生彎折，運(yùn)動(dòng)方向多次變化，固定在移動(dòng)裝置上的攝像頭在此期間拍攝的目標(biāo)的圖像在回傳呈現(xiàn)給用戶手上的顯示設(shè)備的時(shí)候，圖像的方向會(huì)隨著移動(dòng)裝置的方向變化而變化，導(dǎo)致用戶觀察到的目標(biāo)圖像也一直在旋轉(zhuǎn)，非常不方便，用戶無法判斷相機(jī)所在現(xiàn)場(chǎng)的目標(biāo)的方向，甚至發(fā)生眩暈現(xiàn)象。

相關(guān)技術(shù)采用圖像旋轉(zhuǎn)方法來修正圖像的傾斜。例如，根據(jù)用戶的指令來確定圖像的旋轉(zhuǎn)角度，實(shí)現(xiàn)任意角度的圖像旋轉(zhuǎn)。甚至還有方法利用硬件在移動(dòng)裝置的方向改變時(shí)保持?jǐn)z像機(jī)的方向始終不變，從而能夠獲得靜止目標(biāo)相對(duì)于用戶方向不變的圖像。

發(fā)明內(nèi)容

發(fā)明人認(rèn)為：相關(guān)技術(shù)均無法實(shí)現(xiàn)根據(jù)移動(dòng)裝置的姿態(tài)，通過算法自動(dòng)旋轉(zhuǎn)圖像。鑒于此，本公開實(shí)施例提出一種技術(shù)方案，能夠根據(jù)移動(dòng)裝置的位姿，自動(dòng)旋轉(zhuǎn)圖像，使得顯示的圖像與觀察者的位置匹配，從而提高觀看體驗(yàn)。

根據(jù)本公開實(shí)施例的第一方面，提供了一種圖像處理方法，包括：獲取安裝在移動(dòng)裝置上的攝像機(jī)拍攝的圖像，確定所述攝像機(jī)在拍攝所述圖像時(shí)的姿態(tài)角；據(jù)所述姿態(tài)角，計(jì)算所述圖像相對(duì)于基準(zhǔn)方向的旋轉(zhuǎn)角度；利用基于所述旋轉(zhuǎn)角度的變換矩陣，對(duì)所述圖像進(jìn)行旋轉(zhuǎn)處理。

在一些實(shí)施例中，根據(jù)姿態(tài)傳感器輸出的姿態(tài)角、以及三軸的角速度信息和三軸的加速度信息中的至少之一，確定所述攝像機(jī)在拍攝所述圖像時(shí)的姿態(tài)角。

在一些實(shí)施例中，根據(jù)所述三軸的角速度信息和三軸的加速度信息，確定所述攝像機(jī)在拍攝所述圖像時(shí)的姿態(tài)角包括：利用四元數(shù)法，計(jì)算所述攝像機(jī)在拍攝所述圖像時(shí)的姿態(tài)角，所述姿態(tài)角包括俯仰角、滾轉(zhuǎn)角和偏航角中的至少之一。

在一些實(shí)施例中，根據(jù)所述姿態(tài)角，計(jì)算所述圖像的旋轉(zhuǎn)角度包括：利用地面坐標(biāo)系與所述移動(dòng)裝置的坐標(biāo)系之間的對(duì)應(yīng)關(guān)系，根據(jù)角度平面與所述攝像機(jī)的拍攝方向垂直的姿態(tài)角，計(jì)算與所述姿態(tài)角對(duì)應(yīng)的旋轉(zhuǎn)角度。

在一些實(shí)施例中，所述變換矩陣為

其中，表示所述圖像的像素點(diǎn)的原始位置，表示所述圖像的像素點(diǎn)的旋轉(zhuǎn)后位置，θ表示所述旋轉(zhuǎn)角度。

在一些實(shí)施例中，所述圖像處理方法還包括：將經(jīng)過旋轉(zhuǎn)處理的圖像輸出到用戶的顯示設(shè)備，從而攝像頭拍攝的目標(biāo)所在現(xiàn)場(chǎng)的位置坐標(biāo)系在顯示設(shè)備上的方向與顯示設(shè)備的所述基準(zhǔn)方向保持相對(duì)靜止，也即攝像頭拍攝的目標(biāo)所在現(xiàn)場(chǎng)的位置坐標(biāo)系在相機(jī)視野區(qū)域上的方向與相機(jī)視野區(qū)域的所述基準(zhǔn)方向保持相對(duì)靜止。此時(shí)，如果拍攝的所述圖像中存在靜止目標(biāo)，則靜止目標(biāo)在顯示設(shè)備上的方向與顯示設(shè)備的基準(zhǔn)方向之間的夾角保持不變。所述顯示設(shè)備的基準(zhǔn)方向相對(duì)于顯示設(shè)備靜止，可以為顯示設(shè)備的顯示表面上的任意固定的直線。

在一些實(shí)施例中，所述圖像處理方法還包括：對(duì)所述圖像進(jìn)行裁剪處理，裁剪后的圖像中心在所述顯示設(shè)備上的位置與裁剪前的圖像中心在所述顯示設(shè)備上的位置基本保持不變。

在一些實(shí)施例中，所述圖像包括多幅，對(duì)所述圖像進(jìn)行裁剪處理包括：將每幅圖像的尺寸裁剪成比所述多幅圖像的重疊部分的內(nèi)接圓的尺寸小；或者將每幅圖像的尺寸裁剪成比所述多幅圖像的重疊部分的內(nèi)接圓的尺寸大，并在部分旋轉(zhuǎn)角度的圖像中出現(xiàn)的無數(shù)據(jù)區(qū)域用單色填充。

在一些實(shí)施例中，所述圖像處理方法還包括：在對(duì)所述圖像進(jìn)行旋轉(zhuǎn)處理之前，對(duì)所述圖像進(jìn)行濾波處理。