[發(fā)明專利]全景圖實時生成的方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 201210548920.8
• 申請日: 2012-12-17
• 公開（公告）號: CN103873758B
• 公開（公告）日: 2018-09-21
• 發(fā)明（設(shè)計）人: 金智勇;劉鵬;熊君君
• 申請（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/91;G06T7/00
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 鄭瑜生

1.一種全景圖實時生成的方法，其特征在于，包括以下步驟：

標(biāo)定攝像機內(nèi)參數(shù)，建立坐標(biāo)系及創(chuàng)建圓柱投影面；

獲取視頻圖像；

通過投影計算序列將所述視頻圖像投影到所述圓柱投影面，創(chuàng)建全景圖；

通過調(diào)整攝像機的初始姿態(tài)的主光軸與水平面的夾角修改攝像機的初始姿態(tài)矩陣，對所述全景圖進行校正。

2.如權(quán)利要求1所述的全景圖實時生成的方法，其特征在于，建立坐標(biāo)系包括：

以攝像機初始姿態(tài)的等效光心位置為坐標(biāo)原點，建立世界坐標(biāo)系；

以攝像機等效光心為坐標(biāo)原點，建立攝像機坐標(biāo)系，對于三維空間中的點，其攝像機坐標(biāo)系下的坐標(biāo)X_c和世界坐標(biāo)系下的坐標(biāo)X_w具有如下關(guān)系：X_c＝R*X_w+T，其中，R，T分別表示上述三維點攝像機坐標(biāo)系下的坐標(biāo)X_c變換到世界坐標(biāo)系下的坐標(biāo)X_w的旋轉(zhuǎn)變換矩陣和平移變換向量。

3.如權(quán)利要求1所述的全景圖實時生成的方法，其特征在于，創(chuàng)建圓柱投影面包括以下步驟：

以攝像機等效光心為幾何中心，創(chuàng)建圓柱投影面；

根據(jù)所述內(nèi)參數(shù)將投影圓柱面離散化為相應(yīng)分辨率的圖像，并在該圖像上進行子圖像劃分，所述相應(yīng)分辨率的選取方式為：

其中，D_x，D_y分別表示圓柱投影面水平方向和豎直方向的分辨率，f_x，f_y分別表示攝像機鏡頭焦距在水平方向和豎直方向的尺度因子，W,H分別表示獲取單幀視頻圖像的寬和高，h表示設(shè)定的全景圖視野高度，μ(*)表示對“*”取大于“*”值的最小的2的冪次方值；

對所述圓柱投影面逐行設(shè)置掩碼，用以標(biāo)識已填充的像素的起始位置和終止位置。

4.如權(quán)利要求1所述的全景圖實時生成的方法，其特征在于，通過投影計算序列將所述視頻圖像投影到所述圓柱投影面包括，對每一幀視頻圖像進行圓柱面投影計算：

使用攝像機當(dāng)前姿態(tài)矩陣，計算當(dāng)前圖像投影到圓柱面的覆蓋范圍；

查找覆蓋范圍內(nèi)未填充像素點，并以當(dāng)前圖像的投影值進行填充。

5.如權(quán)利要求4所述的全景圖實時生成的方法，其特征在于，還包括：

填充后修改圖像掩碼，逐行修改所述圓柱投影面中各行掩碼中記錄的已被填充的像素的起始位置和終止位置；

查找新填滿的子圖像，對新填滿的子圖像進行多級降采樣，并對子圖像和各級采樣圖像進行圖像特征點提取。

6.如權(quán)利要求5所述的全景圖實時生成的方法，其特征在于，當(dāng)投影的視頻圖像不是首幀圖像時，還包括：

利用前面各幀對應(yīng)的各個攝像機姿態(tài)矩陣，估計攝像機的運動速度，并進一步估計當(dāng)前幀對應(yīng)的攝像機姿態(tài)矩陣的近似值；

根據(jù)所述攝像機當(dāng)前姿態(tài)矩陣的近似值，將投影面各級子圖像上的特征點投影到像平面上；

將上述特征點的投影和當(dāng)前像平面上的像素點進行特征匹配，得到一組匹配點對；

以所述當(dāng)前姿態(tài)矩陣的近似值作為初值，根據(jù)所述匹配點對，優(yōu)化當(dāng)前攝像機的姿態(tài)矩陣，得到精確的當(dāng)前姿態(tài)矩陣的值。

7.如權(quán)利要求4所述的全景圖實時生成的方法，其特征在于，所述通過調(diào)整攝像機的初始姿態(tài)的主光軸與水平面的夾角修改攝像機的初始姿態(tài)矩陣，對所述全景圖進行校正的步驟，包括：

調(diào)整軟件界面上的參數(shù)修改首幀視頻圖像對應(yīng)的攝像機姿態(tài)矩陣，對所述全景圖進行校正。

8.一種拍攝全景圖的方法，其特征在于，包括以下步驟：

啟動攝像機拍攝視頻圖像；

根據(jù)如權(quán)利要求1至7任意之一所述的全景圖實時生成的方法，將拍攝的所述視頻圖像生產(chǎn)全景圖；

在屏幕上顯示形成的所述全景圖。