[發(fā)明專利]一種基于自動(dòng)機(jī)器學(xué)習(xí)的虛擬現(xiàn)實(shí)全景圖智能拼接方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910316905.2
• 申請(qǐng)日: 2019-04-19
• 公開（公告）號(hào): CN110009570B
• 公開（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 孫寧遠(yuǎn);李銳;段強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 山東浪潮科學(xué)研究院有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/35
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 闞恭勇

1.一種基于自動(dòng)機(jī)器學(xué)習(xí)的虛擬現(xiàn)實(shí)全景圖智能拼接方法，其特征在于，

主要包括如下步驟：

S1、圖像序列的獲??；

S2、對(duì)圖像序列中所有圖像進(jìn)行基本的圖像預(yù)處理；

S3、利用SIFT特征檢測算法檢測每幅圖像的SIFT特征點(diǎn)；

S4、負(fù)責(zé)將圖像序列進(jìn)行投影變換，形成全景圖的矩形展開圖；

S5.、利用AutoKeras自動(dòng)機(jī)器學(xué)習(xí)庫，使其自動(dòng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來融合圖像交接部分，并進(jìn)行圖像的平衡工作；

在S1步驟中，

在準(zhǔn)備階段，需要利用全景云臺(tái)以使相機(jī)的主點(diǎn)保持不動(dòng)，通過云臺(tái)手架旋轉(zhuǎn)相機(jī)的拍攝角度；拍攝分四輪進(jìn)行；

第一輪相機(jī)的主線方向與地面平行，然后對(duì)周圍360°空間進(jìn)行拍攝；每拍攝一副圖像便順時(shí)針旋轉(zhuǎn)一定角度，拍攝的相鄰圖像之間需要保持10%至20%的重疊部分，直至這些圖像囊括了周圍360°所有景象；

第二輪拍攝與第一輪相似，唯一的變動(dòng)是相機(jī)的主線不再與水平線平行，而是比水平線高出一個(gè)角度；高出的角度具體取決于相機(jī)在垂直方向上的最大視野角；

第三輪則把相機(jī)的主線向下調(diào)整40°；

第四輪即相機(jī)主線完全垂直于地平線，鏡頭向上與鏡頭向下各拍攝一張圖像；這樣經(jīng)過四輪所獲得的所有圖像包含了周圍720°空間內(nèi)的所有圖像，將這些圖像稱為圖像序列；

在S3步驟中，根據(jù)這些特征點(diǎn)信息，使用最鄰近與次鄰近比值法，對(duì)圖像序列中的所有圖像進(jìn)行配對(duì)，檢測出圖像之間的匹配關(guān)系；采用RANSAC算法剔除錯(cuò)誤的特征點(diǎn)配對(duì)；得到所有圖像的之間的匹配信息后，通過特征點(diǎn)的坐標(biāo)信息，推導(dǎo)圖像之間的變換矩陣；

在S4步驟中，

首先會(huì)建立一個(gè)球體，然后將所有的圖像根據(jù)其在S3階段所推導(dǎo)的變換矩陣，投影到球面上；最后再將球面展開成矩形，得到全景圖；

在上述的變換過程中，共有兩類三維坐標(biāo)系輔助進(jìn)行變換：世界坐標(biāo)系與相機(jī)坐標(biāo)系；

世界坐標(biāo)系只有一個(gè)，其原點(diǎn)在球心，z軸垂直于水平面向上；

相機(jī)坐標(biāo)系有數(shù)個(gè)，圖像序列中的每一幅圖像都對(duì)應(yīng)了一個(gè)相機(jī)坐標(biāo)系，其原點(diǎn)與世界坐標(biāo)系相同，但是相機(jī)坐標(biāo)系的z軸平行于每幅圖像拍攝時(shí)相機(jī)主線所對(duì)應(yīng)的角度；

每幅圖像將在各自的相機(jī)坐標(biāo)系下進(jìn)行投影。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

圖像序列全部投影完畢后將得到一個(gè)球形圖像，將該球形圖像的所有像素坐標(biāo)從相機(jī)坐標(biāo)系下變換到世界坐標(biāo)系下，并在世界坐標(biāo)系下進(jìn)行展開，便可得到全景圖像。