[發(fā)明專利]增強(qiáng)實(shí)時(shí)視圖的計(jì)算機(jī)實(shí)施方法和計(jì)算機(jī)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710081885.6
• 申請(qǐng)日: 2012-05-25
• 公開(kāi)（公告）號(hào): CN107122380A
• 公開(kāi)（公告）日: 2017-09-01
• 發(fā)明（設(shè)計(jì)）人: 古魯穆?tīng)栁鳌だ穾?kù)馬爾;威廉·F.·斯達(dá)西爾;布萊恩·E.·費(fèi)爾德曼;阿爾娜比·S.·德華;納林·普拉迪普·森薩米拉
• 申請(qǐng)（專利權(quán)）人: A9.COM公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11371
• 代理人: 李丙林,曹桓

本申請(qǐng)是2013年11月27日進(jìn)入中國(guó)國(guó)家階段的國(guó)際申請(qǐng)日為2012年5月25日、國(guó)家申請(qǐng)?zhí)枮?01280025710.9(國(guó)際申請(qǐng)?zhí)枮镻CT/US2012/039521)、名稱為“增強(qiáng)實(shí)時(shí)視圖”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及增強(qiáng)實(shí)時(shí)視圖領(lǐng)域，更具體地涉及增強(qiáng)實(shí)時(shí)視圖的計(jì)算機(jī)實(shí)施方法和計(jì)算機(jī)系統(tǒng)。

背景技術(shù)

各種常規(guī)內(nèi)容傳遞系統(tǒng)使計(jì)算設(shè)備用戶(例如，智能手機(jī))能夠獲得與用戶(如通過(guò)使用計(jì)算設(shè)備的攝像機(jī)采集圖像)提供的與圖像有關(guān)的內(nèi)容。例如，用戶可通過(guò)攝像機(jī)采集電影海報(bào)的圖像并且將所采集圖像上載到內(nèi)容傳遞系統(tǒng)。內(nèi)容傳遞系統(tǒng)進(jìn)而返回與電影海報(bào)相關(guān)聯(lián)的電影有關(guān)的內(nèi)容(例如，關(guān)于電影、多媒體內(nèi)容等的信息)。

為了傳遞與上載圖像有關(guān)的內(nèi)容，常規(guī)內(nèi)容傳遞系統(tǒng)試圖將從客戶端設(shè)備接收的圖像與在內(nèi)容傳遞系統(tǒng)的圖像數(shù)據(jù)庫(kù)中存儲(chǔ)的圖像匹配。圖像數(shù)據(jù)庫(kù)可以存儲(chǔ)來(lái)自雜志，海報(bào)，報(bào)紙，英特網(wǎng)等的成千上萬(wàn)張圖像。例如，圖像數(shù)據(jù)庫(kù)可以存儲(chǔ)對(duì)應(yīng)于特定電影“X”的海報(bào)墻和廣告牌的圖像。因此，當(dāng)內(nèi)容傳遞系統(tǒng)從通信設(shè)備接收電影“X”的海報(bào)圖像時(shí)，系統(tǒng)試圖將接收的圖像與在其圖像數(shù)據(jù)庫(kù)中存儲(chǔ)的全部圖像匹配。這樣一種途徑可以是非常耗費(fèi)資源的，并且當(dāng)用戶以大量必須進(jìn)行分析的圖像向系統(tǒng)提交請(qǐng)求時(shí)可以帶來(lái)顯著的延遲時(shí)間。

發(fā)明內(nèi)容

一方面，本發(fā)明提供一種計(jì)算機(jī)實(shí)施方法，其包括：使用圖像采集元件采集項(xiàng)目的圖像；將所述圖像中呈現(xiàn)的特征與對(duì)應(yīng)于項(xiàng)目庫(kù)中的項(xiàng)目的所存儲(chǔ)的特征進(jìn)行匹配，以識(shí)別匹配的項(xiàng)目；檢索與所述匹配的項(xiàng)目相關(guān)聯(lián)的可選擇的內(nèi)容；使用特征提取確定項(xiàng)目的多個(gè)角，以從所述圖像中提取與所述多個(gè)角對(duì)應(yīng)的興趣點(diǎn)；至少部分地基于所述多個(gè)角確定邊界框；對(duì)于所述邊界框，確定滿足預(yù)定變形閾值的透視變形；以及在顯示元件上顯示所述可選擇的內(nèi)容作為在邊界框上的疊加，其中響應(yīng)于對(duì)所述可選擇的內(nèi)容的選擇呈現(xiàn)所述匹配的項(xiàng)目供購(gòu)買(mǎi)。

優(yōu)選地，所述可選擇的內(nèi)容包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

優(yōu)選地，所述可選擇的內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的項(xiàng)目信息，并且所述項(xiàng)目信息包括下列各項(xiàng)中的至少一個(gè)：價(jià)格、描述、客戶評(píng)價(jià)、客戶評(píng)論、特價(jià)優(yōu)惠和促銷(xiāo)、或與關(guān)聯(lián)商品有關(guān)的關(guān)聯(lián)信息。

優(yōu)選地，所述項(xiàng)目信息與在圖像采集元件相關(guān)聯(lián)的本地庫(kù)中的存儲(chǔ)信息匹配，并且其中所述存儲(chǔ)信息限定在項(xiàng)目庫(kù)中的項(xiàng)目。

優(yōu)選地，所述項(xiàng)目信息與相對(duì)于作為所述圖像采集元件的主機(jī)的電子設(shè)備的遠(yuǎn)程的存儲(chǔ)信息匹配，并且其中所述存儲(chǔ)信息限定在項(xiàng)目庫(kù)中的項(xiàng)目。

優(yōu)選地，所述方法還包括：響應(yīng)于在所述項(xiàng)目與所述項(xiàng)目庫(kù)中的項(xiàng)目之間發(fā)現(xiàn)多個(gè)匹配，確定到所述項(xiàng)目的附加匹配項(xiàng)目。

優(yōu)選地，所述方法還包括：用當(dāng)前位置標(biāo)識(shí)符或時(shí)間戳中的至少一個(gè)對(duì)所述匹配的項(xiàng)目進(jìn)行標(biāo)記。

另一方面，本發(fā)明還提供一種用于以相關(guān)聯(lián)的內(nèi)容增強(qiáng)實(shí)時(shí)采集和顯示的產(chǎn)品的圖像的計(jì)算機(jī)系統(tǒng)，其包括：

處理器；和

具有計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器，所述計(jì)算機(jī)可執(zhí)行指令當(dāng)在所述處理器上執(zhí)行時(shí)，促使所述處理器：

使用圖像采集元件采集項(xiàng)目的圖像；

將所述圖像中呈現(xiàn)的特征與對(duì)應(yīng)于項(xiàng)目庫(kù)中的項(xiàng)目的所存儲(chǔ)的特征進(jìn)行匹配，以識(shí)別匹配的項(xiàng)目；

檢索與所述匹配的項(xiàng)目相關(guān)聯(lián)的可選擇的內(nèi)容；

使用特征提取確定項(xiàng)目的多個(gè)角，以從所述圖像中提取與所述多個(gè)角對(duì)應(yīng)的興趣點(diǎn)；

至少部分地基于所述多個(gè)角確定邊界框；

對(duì)于所述邊界框，確定滿足預(yù)定變形閾值的透視變形；以及

在顯示元件上顯示所述可選擇的內(nèi)容作為在所述邊界框上的疊加，其中響應(yīng)于對(duì)所述可選擇的內(nèi)容的選擇呈現(xiàn)所述匹配的項(xiàng)目供購(gòu)買(mǎi)。

優(yōu)選地，所述可選擇的內(nèi)容包括下列各項(xiàng)中的至少一個(gè)：按鈕或超鏈接。

優(yōu)選地，所述可選擇的內(nèi)容包括與所述項(xiàng)目相關(guān)聯(lián)的項(xiàng)目信息，所述項(xiàng)目信息包括下列各項(xiàng)中的至少一個(gè)：價(jià)格、描述、客戶評(píng)價(jià)、客戶評(píng)論、特價(jià)優(yōu)惠和促銷(xiāo)、或與關(guān)聯(lián)商品有關(guān)的關(guān)聯(lián)信息。

優(yōu)選地，所述計(jì)算機(jī)可執(zhí)行指令還促使所述處理器用當(dāng)前位置標(biāo)識(shí)符或時(shí)間戳中的至少一個(gè)對(duì)所述匹配的項(xiàng)目進(jìn)行標(biāo)記。

優(yōu)選地，所述計(jì)算機(jī)可執(zhí)行指令還促使所述處理器響應(yīng)于所述用戶選擇所述可選擇的內(nèi)容而檢索并且提供與所述圖像疊加的所述可選擇的內(nèi)容相關(guān)聯(lián)的信息。

附圖說(shuō)明

圖1圖示環(huán)境，其中可以實(shí)施各種實(shí)施方案。