[發(fā)明專利]增強(qiáng)現(xiàn)實(shí)信息提供方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710911603.0
• 申請(qǐng)日: 2017-09-29
• 公開（公告）號(hào): CN109582122B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 吳曉東;肖領(lǐng);周建華;周劍;王勁
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 蘇培華

1.一種增強(qiáng)現(xiàn)實(shí)信息提供方法，其特征在于，包括：

在移動(dòng)應(yīng)用中內(nèi)置有瀏覽器，在瀏覽器中打開用于進(jìn)行AR交互的Web界面，在AR主線程中創(chuàng)建相機(jī)線程以及Web線程，在AR交互的過程中，由主線程通過Native的方式調(diào)用終端設(shè)備中的攝像頭，所述主線程接收到相機(jī)線程通過Native的方式調(diào)用終端設(shè)備中的攝像頭采集的一幀實(shí)景圖像信息時(shí)，暫停所述相機(jī)線程的實(shí)景圖像采集操作；

將所述實(shí)景圖像信息提供給Web線程，由所述Web線程根據(jù)目標(biāo)物體在增強(qiáng)現(xiàn)實(shí)AR畫面中的展示屬性信息，確定虛擬圖像在AR畫面中的展示屬性信息；

指示繪制線程對(duì)所述相機(jī)線程采集的實(shí)景圖像以及所述Web線程生成的虛擬圖像進(jìn)行合成及繪制，并指示所述相機(jī)線程執(zhí)行下一幀圖像的采集操作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述方法之前還包括：

在AR互動(dòng)的過程中，判斷是否存在虛擬圖像與實(shí)景圖像中目標(biāo)物體的位置未能同步變化的情況，如果存在，則觸發(fā)所述方法中各步驟的執(zhí)行。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相機(jī)線程采集的實(shí)景圖像信息包括：通過對(duì)所述采集到的實(shí)景圖像進(jìn)行識(shí)別獲得的目標(biāo)物體在AR畫面中的展示屬性信息；

所述將所述實(shí)景圖像信息提供給Web線程，包括：

將所述目標(biāo)物體在AR畫面中的展示屬性信息提供給Web線程。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述相機(jī)線程在首次識(shí)別到一目標(biāo)物體時(shí)，所述實(shí)景圖像信息中還包括：該目標(biāo)物體對(duì)應(yīng)的物體識(shí)別結(jié)果，以便所述Web線程根據(jù)所述物體識(shí)別結(jié)果確定對(duì)應(yīng)的虛擬圖像。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，如果所述采集到的實(shí)景圖像中包括深度信息，則所述識(shí)別獲得的展示屬性信息包括所述目標(biāo)物體在所述AR畫面中的三維空間屬性信息。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述相機(jī)線程根據(jù)預(yù)先建立的目標(biāo)物體識(shí)別模型，識(shí)別所述實(shí)景圖像中的目標(biāo)物體及其展示屬性信息。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述目標(biāo)物體識(shí)別模型通過以下方式生成：

獲得圖像訓(xùn)練樣本，其中包括多幅圖像，各幅圖像中還包括對(duì)目標(biāo)物體所在位置的標(biāo)注信息；

根據(jù)所述圖像訓(xùn)練樣本中對(duì)所述目標(biāo)物體所在位置的標(biāo)注信息，生成對(duì)所述目標(biāo)物體的識(shí)別模型。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，各幅圖像是對(duì)同一目標(biāo)物體進(jìn)行拍攝獲得的，且相鄰的圖像之間存在相同的環(huán)境特征點(diǎn)；所述標(biāo)注信息通過以下方式獲得：

將其中一幅圖像作為基準(zhǔn)圖像，并基于基準(zhǔn)三維坐標(biāo)系創(chuàng)建三維空間模型，根據(jù)三維空間模型被移動(dòng)到的位置，確定目標(biāo)物體在所述基準(zhǔn)三維坐標(biāo)系中的位置信息；

根據(jù)所述各幅圖像中的環(huán)境特征點(diǎn)確定出的各自對(duì)應(yīng)的相機(jī)姿態(tài)信息，將所述三維空間模型分別映射到各幅圖像的像平面。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相機(jī)線程采集的實(shí)景圖像信息包括：所述實(shí)景圖像的紋理數(shù)據(jù)信息，所述Web線程通過對(duì)所述紋理數(shù)據(jù)信息進(jìn)行分析，確定目標(biāo)物體在所述AR畫面中的展示屬性信息。

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相機(jī)線程在采集到一幀實(shí)景圖像后，將該實(shí)景圖像的數(shù)據(jù)內(nèi)容提供給所述繪制線程，并指示所述繪制線程等待收到虛擬圖像的展示屬性信息后，再執(zhí)行繪制操作。

11.根據(jù)權(quán)利要求1至10任一項(xiàng)所述的方法，其特征在于，所述展示屬性信息包括在所述AR畫面中的位置和/或大小。