[發(fā)明專利]一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法及系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200610113774.0
• 申請(qǐng)日: 2006-10-16
• 公開（公告）號(hào): CN101165719A
• 公開（公告）日: 2008-04-23
• 發(fā)明（設(shè)計(jì)）人: 魏舜儀;李暉;孟艷;雷錦超
• 申請(qǐng)（專利權(quán)）人: 北京威亞視訊科技有限公司
• 主分類號(hào): G06T1/00
• 分類號(hào): G06T1/00;G06T5/00;G06F3/00;G01B11/00
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 任默聞

技術(shù)領(lǐng)域

本發(fā)明涉及用于工業(yè)維修和安裝的增強(qiáng)實(shí)現(xiàn)技術(shù)，特別涉及通過(guò)設(shè)置標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)技術(shù)，具體的講是一種基于標(biāo)志點(diǎn)的增強(qiáng)實(shí)現(xiàn)工業(yè)維修方法及系統(tǒng)。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)(AR：Aubmented?Reality)是虛擬現(xiàn)實(shí)技術(shù)研究領(lǐng)域里一個(gè)新的分支，是一種利用計(jì)算機(jī)對(duì)使用者所看到的真實(shí)世界進(jìn)行景象增強(qiáng)或擴(kuò)張的技術(shù)。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，使用者可以在看到周圍真實(shí)環(huán)境的同時(shí)，看到計(jì)算機(jī)產(chǎn)生的增強(qiáng)信息。這種增強(qiáng)的信息可以是在真實(shí)環(huán)境中與真實(shí)環(huán)境共存的虛擬物體，也可以是真實(shí)物體的非幾何信息如標(biāo)注和提示等。

增強(qiáng)現(xiàn)實(shí)借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通過(guò)傳感技術(shù)將虛擬對(duì)象準(zhǔn)確“放置”在真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一體，并呈現(xiàn)給使用者一個(gè)感官效果真實(shí)的新環(huán)境。因此增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)的新特點(diǎn)。例如增強(qiáng)現(xiàn)實(shí)家庭裝修系統(tǒng)，通過(guò)在真實(shí)場(chǎng)景中放置的一系列標(biāo)志點(diǎn)，虛擬的家具被疊加到場(chǎng)景中，并與真實(shí)背景融和在一起。

波音公司完成了世界上第一套實(shí)用化的增強(qiáng)現(xiàn)實(shí)工業(yè)輔助系統(tǒng)。這套系統(tǒng)能夠幫助工人完成飛機(jī)制造中的電力線纜的連接和接線器的裝配工作。該系統(tǒng)使用光學(xué)透射式頭盔作為顯示設(shè)備，通過(guò)在工人的視野中疊加布線的路徑和文字等提示信息，指導(dǎo)工人完成復(fù)雜的裝配工作。

美國(guó)哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)系的圖形與用戶接口實(shí)驗(yàn)室開發(fā)完成了KARMA系統(tǒng)。該系統(tǒng)是一套打印機(jī)維修輔助系統(tǒng)，通過(guò)疊加打印機(jī)內(nèi)部構(gòu)造等信息，該系統(tǒng)可以幫助使用者完成打印機(jī)的日常維護(hù)工作。

在歐盟多個(gè)國(guó)家共同參與的Starmate項(xiàng)目中，研究人員完成了一套完整的基于增強(qiáng)現(xiàn)實(shí)的維修系統(tǒng)。在所研制的系統(tǒng)中通過(guò)頭盔式顯示器將多種輔助信息顯示給用戶，包括虛擬儀表的面板、被維修設(shè)備的內(nèi)部結(jié)構(gòu)、被維修設(shè)備零件圖等。

在這種系統(tǒng)中，如何實(shí)現(xiàn)三維注冊(cè)是一個(gè)關(guān)鍵問(wèn)題。三維注冊(cè)系統(tǒng)需要實(shí)時(shí)跟蹤用戶頭部的位置和姿態(tài)，計(jì)算出用戶當(dāng)前視線方向，根據(jù)這個(gè)方向確定虛擬物體的坐標(biāo)系與真實(shí)環(huán)境坐標(biāo)系之間的關(guān)系，最終將虛擬物體正確地疊加到真實(shí)環(huán)境中。

準(zhǔn)確的三維注冊(cè)是實(shí)現(xiàn)一個(gè)成功的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基礎(chǔ)，三維注冊(cè)的效果和成敗決定了增強(qiáng)現(xiàn)實(shí)系統(tǒng)是否能夠正常地運(yùn)行。

現(xiàn)有系統(tǒng)中主要使用的三維注冊(cè)方式是基于標(biāo)志點(diǎn)的注冊(cè)方式。這種方式需要在環(huán)境中安裝一定數(shù)量的，具有特殊圖案的人工標(biāo)志點(diǎn)。系統(tǒng)運(yùn)行時(shí)通過(guò)分析攝像機(jī)拍攝的圖像，識(shí)別這些人工標(biāo)志點(diǎn)，并且提取出這些人工標(biāo)志點(diǎn)在攝像機(jī)圖像上的位置。根據(jù)這些位置，以及預(yù)先測(cè)量的人工標(biāo)志點(diǎn)在真實(shí)空間中安裝的三維位置，可以實(shí)時(shí)計(jì)算出攝像機(jī)相對(duì)于真實(shí)世界坐標(biāo)系的位置和姿態(tài)。由于一般情況下，攝像機(jī)安裝在用戶的頭部，所以這個(gè)時(shí)候就可以得到用戶頭部的位置和姿態(tài)。

如圖1所示，為現(xiàn)有技術(shù)中基于標(biāo)志點(diǎn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的示意圖，工作臺(tái)106上擺放有工件105，并且工作臺(tái)106上設(shè)置有多個(gè)標(biāo)志點(diǎn)104，攝像機(jī)103對(duì)工作臺(tái)106、工件105、多個(gè)標(biāo)志點(diǎn)104進(jìn)行拍攝，并將拍攝的圖像傳送給圖像采集裝置103，圖像采集裝置對(duì)接收的圖像進(jìn)行處理并將處理后的圖像數(shù)據(jù)傳送給計(jì)算機(jī)101，計(jì)算機(jī)101對(duì)接收的圖像數(shù)據(jù)進(jìn)行處理，通過(guò)分析攝像機(jī)拍攝的圖像，識(shí)別標(biāo)志點(diǎn)104，并且提取出這些標(biāo)志點(diǎn)104在攝像機(jī)圖像上的位置。根據(jù)這些位置，以及預(yù)先測(cè)量的標(biāo)志點(diǎn)104在真實(shí)空間中安裝的三維位置，可以實(shí)時(shí)計(jì)算出攝像機(jī)相對(duì)于真實(shí)世界坐標(biāo)系的位置和姿態(tài)。

如圖2所示，為現(xiàn)有技術(shù)中基于標(biāo)志點(diǎn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的結(jié)構(gòu)框圖，其中攝像裝置通過(guò)圖像采集裝置與控制裝置連接，控制裝置連接有顯示裝置，所述的攝像裝置對(duì)工作臺(tái)進(jìn)行拍攝，工作臺(tái)上設(shè)置有工件和標(biāo)志點(diǎn)。

基于標(biāo)志點(diǎn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)普遍存在的一個(gè)問(wèn)題是：標(biāo)志點(diǎn)的跟蹤容易受到外界光照條件變化的影響，即跟蹤的不穩(wěn)定性。這個(gè)問(wèn)題存在兩個(gè)方面的原因，第一個(gè)是單個(gè)標(biāo)志點(diǎn)的跟蹤容易丟失。這主要是因?yàn)楝F(xiàn)有普通攝像機(jī)的拍攝速度不足以滿足用戶隨意移動(dòng)的要求，解決這個(gè)問(wèn)題的方法是采用高速的攝像機(jī)，但是這將大大增加增強(qiáng)現(xiàn)實(shí)系統(tǒng)的制造成本。第二個(gè)原因就是在用戶的視野范圍之內(nèi)標(biāo)志點(diǎn)的個(gè)數(shù)不足以滿足計(jì)算攝像機(jī)姿態(tài)的需要。解決這個(gè)問(wèn)題的方法是在真實(shí)環(huán)境中增加大量的標(biāo)志點(diǎn)，并且讓它們布滿用戶視線能夠到達(dá)的范圍，這樣才能保證用戶在任意時(shí)刻任意姿態(tài)下均能夠看到系統(tǒng)實(shí)時(shí)生成的增強(qiáng)信息。但是這種方法用于工業(yè)維修會(huì)影響到實(shí)際的操作動(dòng)作，因?yàn)榇罅繕?biāo)志點(diǎn)的存在無(wú)論在視覺還是在行動(dòng)上都會(huì)對(duì)維修人員產(chǎn)生干擾，無(wú)法滿足工業(yè)上對(duì)于維修的需要。

發(fā)明內(nèi)容