[發(fā)明專利]基于增強(qiáng)現(xiàn)實(shí)的圖像拼接方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810442012.8
• 申請日: 2018-05-10
• 公開（公告）號: CN108648149B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 方敏毓;德米特里·阿普赫京;楊聰;柯巖
• 申請（專利權(quán)）人: 上海擴(kuò)博智能技術(shù)有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/44
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種基于增強(qiáng)現(xiàn)實(shí)的圖像拼接方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，包括：采用第一圖像，根據(jù)所述第一圖像的生成與所述第一圖像相對應(yīng)的成像區(qū)域；預(yù)覽待采集的第n圖像，根據(jù)成像區(qū)域與所述待采集的第n圖像生成重疊提示區(qū)域并展示所述重疊提示區(qū)域，在第一圖像和第n圖像中提取多個重合的角點(diǎn)或特征點(diǎn)生成圖像拼接轉(zhuǎn)換矩陣；當(dāng)所述重疊提示區(qū)域符合第一預(yù)設(shè)規(guī)則時，采集第n圖像，進(jìn)而根據(jù)所述圖像拼接轉(zhuǎn)換矩陣拼接所述第一圖像和所述第n圖像生成拼接圖像，n為大于1的自然數(shù)。本發(fā)明在采集待拼接的另一圖像時，能夠預(yù)覽另一圖像與先采集到的前一圖像的重疊區(qū)域，保證了采集到另一圖像與前一圖像的匹配效果，提高了圖像拼接的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及新零售技術(shù)，具體地，涉及一種基于增強(qiáng)現(xiàn)實(shí)的圖像拼接方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

背景技術(shù)

新零售，即企業(yè)以互聯(lián)網(wǎng)為依托，通過運(yùn)用大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)手段，對商品的生產(chǎn)、流通與銷售過程進(jìn)行升級改造，進(jìn)而重塑業(yè)態(tài)結(jié)構(gòu)與生態(tài)圈，并對線上服務(wù)、線下體驗(yàn)以及現(xiàn)代物流進(jìn)行深度融合的零售新模式。

在新零售系統(tǒng)的搭建過程中，需要對貨架的圖像進(jìn)行采集，以對貨架進(jìn)行重建并識別貨架上的商品信息。而在超市、商場以及一些便利店中，多個貨架依次排列形成較長的序列，因此無法通過相機(jī)實(shí)現(xiàn)對整排貨架進(jìn)行采集。當(dāng)采集到的貨架圖像超過一定長度時，圖像上的商品會顯示模糊，不容易進(jìn)行識別。因此在通過貨架的圖像對貨架進(jìn)行重建時，需要對貨架進(jìn)行分段采集，將多張貨架的圖像拼接形成貨架的整張圖像。

傳統(tǒng)的圖像拼接技術(shù)是將幾張圖像進(jìn)行簡單的加權(quán)融合或淡入淡出處理。但是當(dāng)目標(biāo)區(qū)域位于重疊提示區(qū)域時，會使目標(biāo)變形。當(dāng)目標(biāo)區(qū)域位于拼接接縫時，表現(xiàn)出同一目標(biāo)亮度不一，或邊界模糊。此外，當(dāng)配準(zhǔn)算法得到的轉(zhuǎn)換矩陣并不是最優(yōu)解時，導(dǎo)致重疊部分目標(biāo)會出現(xiàn)“鬼影”。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于增強(qiáng)現(xiàn)實(shí)的圖像拼接方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

根據(jù)本發(fā)明提供的基于增強(qiáng)現(xiàn)實(shí)的圖像拼接方法，其特征在于，包括如下步驟：

步驟S1：采用第一圖像，根據(jù)所述第一圖像的生成與所述第一圖像相對應(yīng)的成像區(qū)域；

步驟S2：預(yù)覽待采集的第n圖像，根據(jù)成像區(qū)域與所述待采集的第n圖像生成重疊提示區(qū)域并展示所述重疊提示區(qū)域，在第一圖像和第n圖像中提取多個重合的角點(diǎn)或特征點(diǎn)生成圖像拼接轉(zhuǎn)換矩陣；

步驟S3：當(dāng)所述重疊提示區(qū)域符合第一預(yù)設(shè)規(guī)則時，采集第n圖像，進(jìn)而根據(jù)所述圖像拼接轉(zhuǎn)換矩陣拼接所述第一圖像和所述第n圖像生成拼接圖像，n為大于1的自然數(shù)。

優(yōu)選地，所述步驟S2包括如下步驟：

步驟S201：提取所述第一圖像的多個角點(diǎn)；

步驟S202：在預(yù)覽的第n圖像中通過稀疏光流法得到所述角點(diǎn)在所述第n圖像中的位置；

步驟S203：根據(jù)多個所述角點(diǎn)在所述第一圖像和所述第n圖像中的位置生成所述第 n圖像與所述另一圖像之間的第n單應(yīng)性轉(zhuǎn)換矩陣H_n，進(jìn)而根據(jù)第n單應(yīng)性轉(zhuǎn)換矩陣H_n生成所述重疊提示區(qū)域；

步驟S204：當(dāng)所述預(yù)覽的視角變化時生成第n+1圖像的預(yù)覽，通過稀疏光流法提取所述第n+1圖像和所述第n圖像中重合的角點(diǎn)，根據(jù)所述第n+1圖像和所述第n圖像中重合的角點(diǎn)生成第n+1單應(yīng)性轉(zhuǎn)換矩陣H_n+1，進(jìn)而根據(jù)第n+1單應(yīng)性轉(zhuǎn)換矩陣H_n+1生成所述第n+1圖像和所述第n圖像之間的重疊提示區(qū)域；

步驟S205：迭代執(zhí)行步驟S204，依次生成預(yù)覽的第n+m圖像的第n+m單應(yīng)性轉(zhuǎn)換矩陣H_n+m和第n+m圖像與第n+m-1圖像之間的重疊提示區(qū)域，m為大于等于1的自然數(shù)；