[發(fā)明專利]三維信息展示方法、裝置和移動(dòng)終端

在審

• 申請?zhí)枺?/td>: 201710668444.6
• 申請日: 2017-08-07
• 公開（公告）號: CN107464290A
• 公開（公告）日: 2017-12-12
• 發(fā)明（設(shè)計(jì)）人: 韓夢龍
• 申請（專利權(quán)）人: 上海白澤網(wǎng)絡(luò)科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11371
• 代理人: 蘇勝

技術(shù)領(lǐng)域

本發(fā)明涉及信息展示技術(shù)領(lǐng)域，尤其是涉及一種三維信息展示方法、裝置和移動(dòng)終端。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡稱AR)，是通過計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對現(xiàn)實(shí)世界感知的技術(shù)，將虛擬的信息應(yīng)用到真實(shí)世界，并將計(jì)算機(jī)生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實(shí)場景中，從而實(shí)現(xiàn)對現(xiàn)實(shí)的增強(qiáng)。

應(yīng)用AR技術(shù)掃描二維碼等標(biāo)識，可以獲得相關(guān)的圖像、視頻或網(wǎng)頁等，這種信息展示方式，以二維平面的文字、圖像、視屏等形式實(shí)現(xiàn)，信息展示方式功能單一，缺乏新意。

針對現(xiàn)有的信息展示方式功能單一，缺乏新意的問題，尚未提出有效的解決方案。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種三維信息展示方法、裝置和移動(dòng)終端，以提高信息展示的靈活性和多樣性。

第一方面，本發(fā)明實(shí)施例提供了一種三維信息展示方法，包括：通過終端采集信息展示載體的圖像數(shù)據(jù)；采用預(yù)設(shè)的檢測模型，檢測圖像數(shù)據(jù)中，信息展示載體的特征點(diǎn)；其中，預(yù)設(shè)的檢測模型通過對信息展示載體的多個(gè)圖像數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)后獲得；根據(jù)預(yù)先獲取的信息展示載體的理想模型，以及信息展示載體的特征點(diǎn)，確定特征點(diǎn)在終端的攝像機(jī)坐標(biāo)系下的位置信息；根據(jù)位置信息和終端的攝像參數(shù)，確定三維信息的展示位置；根據(jù)展示位置，將三維信息疊加顯示在圖像數(shù)據(jù)中。

在本發(fā)明較佳的實(shí)施例中，上述預(yù)設(shè)的檢測模型，具體通過下述方式獲得：獲取圖像數(shù)據(jù)集合；其中，圖像數(shù)據(jù)集合包括多個(gè)信息展示載體的圖像數(shù)據(jù)；每個(gè)信息展示載體對應(yīng)多個(gè)圖像數(shù)據(jù)；采用多層神經(jīng)網(wǎng)絡(luò)技術(shù)訓(xùn)練圖像數(shù)據(jù)集合，生成圖像區(qū)域檢測器；采用語義識別技術(shù)訓(xùn)練圖像數(shù)據(jù)集合，生成特征點(diǎn)識別器。

在本發(fā)明較佳的實(shí)施例中，上述采用預(yù)設(shè)的檢測模型，檢測圖像數(shù)據(jù)中，信息展示載體的特征點(diǎn)的步驟，包括：通過圖像區(qū)域檢測器，檢測圖像數(shù)據(jù)中，信息展示載體的分布區(qū)域；通過特征點(diǎn)識別器，識別分布區(qū)域中，信息展示載體的特征點(diǎn)。

在本發(fā)明較佳的實(shí)施例中，上述信息展示載體的理想模型，通過下述方式獲得：通過預(yù)先生成的分類器，識別圖像數(shù)據(jù)中，信息展示載體的標(biāo)識；從預(yù)先建立的模型庫中，查找標(biāo)識對應(yīng)的信息展示載體的理想模型；其中，模型庫中包含信息展示載體的二維模型或三維模型；信息展示載體的二維模型或三維模型中包含信息展示載體的相應(yīng)維度的特征點(diǎn)。

在本發(fā)明較佳的實(shí)施例中，上述根據(jù)預(yù)先獲取的信息展示載體的理想模型，以及信息展示載體的特征點(diǎn)，確定特征點(diǎn)在終端的攝像機(jī)坐標(biāo)系下的位置信息的步驟，包括：通過公式：

計(jì)算獲得理想模型中的特征點(diǎn)與圖像數(shù)據(jù)中的特征點(diǎn)的轉(zhuǎn)換矩陣R和轉(zhuǎn)換矩陣T；其中，P_m＝[p_m1 p_m2 p_m3 1]′為理想模型中的特征點(diǎn)對應(yīng)的坐標(biāo)矩陣；P_c＝[p_c1 p_c2 1]′為圖像數(shù)據(jù)中的特征點(diǎn)對應(yīng)的坐標(biāo)矩陣；s為尺度因子；K為終端中攝像機(jī)的參數(shù)矩陣；f_x為攝像機(jī)焦距與物理像素點(diǎn)寬度的比值；f_y為攝像機(jī)焦距與物理像素點(diǎn)高度的比值；λ為攝像機(jī)物理像素點(diǎn)的錯(cuò)切系數(shù)；d_x和d_y為圖像坐標(biāo)系中心轉(zhuǎn)換系數(shù)；

通過公式：

獲得特征點(diǎn)在終端的攝像機(jī)坐標(biāo)系下的位置信息；其中，攝像機(jī)坐標(biāo)系下的位置信息對應(yīng)的矩陣坐標(biāo)為P_ce＝[p_ce1 p_ce2 p_ce3 1]′；k為比例因子。

在本發(fā)明較佳的實(shí)施例中，上述根據(jù)位置信息和終端的攝像參數(shù)，確定三維信息的展示位置的步驟，包括：通過公式：

計(jì)算獲得透視成像矩陣Per；其中，w和h分別為終端屏幕分辨率的寬度和高度；f為透視視錐體距透視成像中心的最遠(yuǎn)距離；n為透視視錐體距透視成像中心的最近距離；通過透視成像矩陣Per和位置信息，計(jì)算獲得三維信息的展示位置。