[發(fā)明專利]一種實(shí)現(xiàn)無標(biāo)記增強(qiáng)現(xiàn)實(shí)鋼琴教學(xué)系統(tǒng)的方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201110092086.1
• 申請(qǐng)日: 2011-04-13
• 公開（公告）號(hào): CN102737534A
• 公開（公告）日: 2012-10-17
• 發(fā)明（設(shè)計(jì)）人: 都思丹;周余;于耀;黃鋒;王自強(qiáng);袁杰;李楊;趙康鏈;孔令紅;許斌鋒;楊瑜;狄海進(jìn)
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G09B15/00
• 分類號(hào): G09B15/00;G09B5/06;G06T17/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

一、技術(shù)領(lǐng)域：

本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)，尤其涉及一種實(shí)現(xiàn)無標(biāo)記增強(qiáng)現(xiàn)實(shí)鋼琴教學(xué)的方法及系統(tǒng)。

二、背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)可以讓用戶看到真實(shí)的世界，同時(shí)把虛擬的物體跟現(xiàn)實(shí)環(huán)境合成。一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的流程一般是，系統(tǒng)首先定位一個(gè)物體的三維信息并且基于其建立空間三維立體坐標(biāo)系，然后把虛擬三維物體增加到坐標(biāo)系中，虛擬的物體和真實(shí)世界一起被顯示出來。在增強(qiáng)現(xiàn)實(shí)的應(yīng)用中，有標(biāo)記的汁算機(jī)視覺定位方式因?yàn)楹唵魏洼^好的魯棒性備受歡迎，通常預(yù)定義大小和形狀物體被用來作為增強(qiáng)現(xiàn)實(shí)的標(biāo)記?；谟袠?biāo)記的增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)非常成熟，他們實(shí)現(xiàn)起來速度快，準(zhǔn)確性高，但是因?yàn)槭褂玫臅r(shí)候必須要有預(yù)定義形狀和大小的標(biāo)記，因而缺少自然性，在真實(shí)應(yīng)用中并不普遍。

文獻(xiàn)《H.Kato?and?M.Bilinghurst?Marker?tracking?and?hmd?cahbratlon?for?a?video-based?augmented?reahtyconferencmg?system.In?iwar，page?85.Pubhshed?by?the?IEEE?Computer?Society，1999》中提出了一種基于標(biāo)記的增強(qiáng)現(xiàn)實(shí)方法，并由此設(shè)計(jì)了開源軟件包(ARTbolkit)。在ARToolkit中，一個(gè)正方形黑色框被作為標(biāo)記識(shí)別，首先在三維圖像中找出正方形框的邊和頂點(diǎn)，利用這些幾何特性實(shí)現(xiàn)三維定位，然后把虛擬三維物體增加到正方形框中。

文獻(xiàn)《M.Fiala.Artag，an?improved?marker?system?based?on?artoolklt.2010》中提供了一種更加快速準(zhǔn)確的基于標(biāo)記定位的方法(ARTag)，用數(shù)字編碼后的圖形作為標(biāo)記代替正方形黑色條框，使得識(shí)別標(biāo)記更加快速準(zhǔn)確，并且這種標(biāo)記尺寸小不需要預(yù)存。

文獻(xiàn)《I.Barakonyl?and?D.Schmalstleg?Augmented?reahly?agents?in?the?dcwelopment?pipehne?of?computerentertainment.In?Entertainment?computing-ICEC?2005：4th?mternational?confer-ence，Sanda，Japan，September?19-21，2005：proceedings，page?345.Springer-Verlag?New?York?Inc，2005》提供了一種基于ARTag的鋼琴教學(xué)方法，在鋼琴上貼上ARTag中的標(biāo)記，然后在鋼琴上建立坐標(biāo)系并且計(jì)算每個(gè)鍵的位置，這樣鍵盤上就可以畫出虛擬的提示來指導(dǎo)鋼琴初學(xué)者應(yīng)該彈奏哪個(gè)鍵。鋼琴通過MIDI按口跟計(jì)算機(jī)相連，這樣鋼琴初學(xué)者彈奏發(fā)出的聲音能被傳入計(jì)算機(jī)，計(jì)算機(jī)可以判斷用戶的彈奏是否正確。

上面的文獻(xiàn)都是使用基于標(biāo)記識(shí)別的增強(qiáng)現(xiàn)實(shí)技術(shù)，相比而言，自然特征追蹤(NFT)技術(shù)要更受歡迎，這種技術(shù)不需要額外的標(biāo)記，能夠使的增強(qiáng)現(xiàn)實(shí)場景更加真實(shí)，讓用戶覺得更加自然。文獻(xiàn)《T?Lee?and?THollerer.Handy?AR：Markerless?inspection?of?augmented?reahty?obects?using?fingertip?trackmg?In?WearableComputers，2007?11th?IEEE?International?Symposium?on，pages?83-90.IEEE，2007》給出了一種實(shí)現(xiàn)自然特征識(shí)別的方法，首先用方格紙對(duì)手做一次校正，這樣手就可以取代傳統(tǒng)增強(qiáng)現(xiàn)實(shí)中標(biāo)記的作用。識(shí)別手的方法是利用膚色對(duì)圖形區(qū)域做劃分，選擇區(qū)域最大的部分作為手的區(qū)域，然后用橢圓逼近的方法識(shí)別出各個(gè)手指。計(jì)算出基于手指的三維坐標(biāo)系后就可以把虛擬物體畫在手上了。這篇文獻(xiàn)中利用一次校正實(shí)現(xiàn)了自然特征追蹤，缺點(diǎn)是手是形變的，如果手指的形狀變化的話，則需要重新校正。

三、發(fā)明內(nèi)容：

首先通過攝像頭實(shí)時(shí)采集圖像，從圖像中識(shí)別和定位鋼琴鍵盤的四邊形信息(頂點(diǎn)坐標(biāo)和邊方程)，計(jì)算其幾何特征參數(shù)，利用這些參數(shù)計(jì)算并建立基于鋼琴鍵盤的三維坐標(biāo)系，把虛擬3D物體模型顯示在基于鋼琴鍵盤的三維坐標(biāo)系中，如圖2所示。