[發明專利]一種基于自動機器學習的虛擬現實全景圖智能拼接方法

有效

• 申請號: 201910316905.2
• 申請日: 2019-04-19
• 公開（公告）號: CN110009570B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 孫寧遠;李銳;段強
• 申請（專利權）人: 山東浪潮科學研究院有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/35
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

本發明提供一種基于自動機器學習的虛擬現實全景圖智能拼接方法，屬于自動機器學習技術與圖像拼接技術領域，本發明可以對手機或傳統相機拍攝的圖像序列進行拼接，結合傳統圖像處理技術，利用自動機器學習庫，自動生成融合算法，實現比傳統方法更好的拼接效果。

技術領域

本發明涉及自動機器學習技術與圖像拼接技術，尤其涉及一種基于自動機器學習的虛擬現實全景圖智能拼接方法。

背景技術

近些年來，虛擬現實技術(VR,Virtual Reality)發展非常火熱，市場上已經出現了幾款較為成熟的家用虛擬現實頭盔如HTC Vive,Oculus Rift,Sony PlayStation等等。隨著硬件設施的逐漸完善與市場化，相應的軟件配套設施發展十分強勁，各大游戲公司爭相發布熱門游戲的VR版本，許多網絡媒體也推出了高質量制作的VR視頻。然而由于VR軟件制作成本較高，其發展速度依然遠遠無法滿足市場需求。

VR軟件制作成本主要來源于昂貴的全景拍攝設備。一款性能穩定，效果不錯的全景相機價格十分昂貴。高價格阻礙了全景拍攝設備的平民化與市場化，導致虛擬現實生態圈發展緩慢。

應用于虛擬現實的全景圖不同于普通意義上人們所理解的全景圖，虛擬現實設備中所使用的全景圖是扭曲的，其本質上是球面的矩形展開圖。因此相比于普通的圖像拼接技術難度更高。

在圖像序列質量相對較差的情況下，傳統算法往往使用SIFT或SURF特征點來進行圖像配準，根據圖像的配準關系推斷不同圖像之間的相對位置關系，并以此推導變換矩陣并對分離圖像進行仿射變換，最后再對圖像拼接區域進行融合與全局白平衡，最終得到虛擬現實全景圖的球形展開圖。在圖像配準方面傳統算法已經具備了非常高的準確度，但在圖像融合方面傳統算法的表現差強人意。近期新興的機器學習技術為其提供了一個更好的解決方案，其融合效果可以精細到像素級別，在保證細膩的融合效果的同時，還能保證全局的圖像平衡。

自動機器學習技術是在機器學習技術基礎之上發展起來的。機器學習工作的重中之重是機器學習模型的選擇與參數的調整，這往往需要機器學習工程師具有極強的技術背景與項目經驗。自動機器學習技術可以根據貝葉斯調參等方法來進行模型的自動選擇與自動調參，相比于需要大量人力與算力的網格搜索要解約更多的資源。

發明內容

為了解決以上技術問題，本發明提出了一種基于自動機器學習的虛擬現實全景圖智能拼接方法，可以對手機或傳統相機拍攝的圖像序列進行拼接，結合傳統圖像處理技術，利用自動機器學習庫，自動生成融合算法，實現比傳統方法更好的拼接效果。

本發明的技術方案是：

一種基于自動機器學習的虛擬現實全景圖智能拼接方法，主要包括如下步驟：

S1.圖像序列的獲取。本發明圖像獲取的成本低廉，只需要普通的手機相機，輔以手機全景云臺與三腳架，對720°全景空間進行拍攝即可。

在準備階段，需要利用全景云臺以使相機的主點保持不動，通過云臺手架旋轉相機的拍攝角度。

在調整好相機，全景云臺與三腳架等設備之后，進入正式拍攝階段。拍攝一般分四輪進行，第一輪相機的主線方向與地面平行，然后對周圍360°空間進行拍攝。每拍攝一副圖像便順時針旋轉一定角度，拍攝的相鄰圖像之間需要保持大概10％至20％的重疊部分，直至這些圖像囊括了周圍360°所有景象。

第二輪拍攝與第一輪相似，唯一的變動是相機的主線不再與水平線平行，而是比水平線高出一定角度。高出的角度具體取決于相機在垂直方向上的最大視野角，一般可以設置在40°左右。

第三輪則把相機的主線向下調整40°左右。

第四輪是“補天”與“補地”，即相機主線完全垂直于地平線，鏡頭向上與鏡頭向下各拍攝一張圖像。這樣經過四輪所獲得的所有圖像包含了周圍720°空間內的所有圖像，后文將這些圖像稱為圖像序列。