[發(fā)明專利]基于投影圖像的觸控定位控制方法

有效

• 申請?zhí)枺?/td>: 201410097620.1
• 申請日: 2014-03-14
• 公開（公告）號: CN103838437B
• 公開（公告）日: 2017-02-15
• 發(fā)明（設(shè)計）人: 張毅;楊正益;譚勇;張紅杰;柏景文
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: G06F3/042
• 分類號: G06F3/042
• 代理公司: 重慶博凱知識產(chǎn)權(quán)代理有限公司50212
• 代理人: 張先蕓

技術(shù)領(lǐng)域

本發(fā)明屬于圖像識別技術(shù)和計算機(jī)控制技術(shù)領(lǐng)域，尤其涉及一種基于投影圖像的觸控定位控制方法。

背景技術(shù)

目前大多數(shù)便攜式電子設(shè)備（例如手機(jī)、平板電腦等）都采用液晶顯示器（LCD）作為人機(jī)界面的主要輸出設(shè)備，并且越來越多的便攜式電子設(shè)備具備了全屏觸控功能，能夠通過觸控實現(xiàn)人機(jī)交互。但由于受到便攜式電子設(shè)備自身體積的限制，顯示屏幕都做得比較小，這不便于用戶在屏幕界面上進(jìn)行人機(jī)交互。

隨著投影機(jī)行業(yè)的不斷發(fā)展及產(chǎn)品的不斷換代，越來越多的投影系統(tǒng)都具有交互功能，即通過一些在投影幕上的操作來完成原先需要在電子設(shè)備的屏幕界面上控制執(zhí)行的功能，這樣就解決人機(jī)交互受到電子設(shè)備屏幕大小限制的問題。近年來出現(xiàn)了一些關(guān)于交互式投影系統(tǒng)技術(shù)的相關(guān)研究。例如我國專利CN102063618A以及CN101881921A公開的交互式投影系統(tǒng)中，采用投影裝置顯示圖像，并采用攝像機(jī)對投影圖像進(jìn)行攝像，然后通過投影平面上的手勢動作在交互式投影系統(tǒng)中定義若干手勢，每種手勢與指令相對應(yīng)，存儲在指令數(shù)據(jù)庫中，從而利用可以手勢實現(xiàn)比如確認(rèn)、取消、翻頁等操作。但該系統(tǒng)最大的缺陷是手勢定義的指令數(shù)量有限；一方面，指令數(shù)的增加必然會加大用戶的學(xué)習(xí)難度，很難被普通用戶接受；另外一方面，即使指令數(shù)量增加到一定程度，也很難實現(xiàn)虛擬鍵盤輸入操作、手勢控制目標(biāo)位置等更為復(fù)雜的功能。

全屏觸控電子設(shè)備的普及，也帶動了觸控操作應(yīng)用程序的發(fā)展。在交互式觸控投影系統(tǒng)中，如果能夠與觸控操作應(yīng)用程序相結(jié)合，在投影平面上對觸控操作應(yīng)用程序進(jìn)行控制操作，那將意味著可以通過在投影平面上的操作實現(xiàn)確認(rèn)、取消、翻頁以及虛擬鍵盤輸入操作、手勢控制目標(biāo)位置等幾乎所有的控制功能，解決人機(jī)交互受到電子設(shè)備屏幕大小限制的問題。然而，目前還缺乏通過在投影平面上的操作對觸控操作應(yīng)用程序進(jìn)行控制的成熟技術(shù)。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的上述問題，為了解決現(xiàn)有技術(shù)中人機(jī)交互受到電子設(shè)備屏幕大小限制的問題，本發(fā)明提供了一種基于投影圖像的觸控定位控制方法，其結(jié)合觸控操作應(yīng)用程序，使得能夠通過在投影畫面中指定控制點位置而直接實現(xiàn)對觸控操作應(yīng)用程序的控制，從而為在投影平面上控制觸控操作應(yīng)用程序提供技術(shù)保證。

為實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)手段：

基于投影圖像的觸控定位控制方法，采用交互式觸控投影系統(tǒng)進(jìn)行控制；所述交互式觸控投影系統(tǒng)包括計算機(jī)、投影儀和攝像裝置；其中，投影儀連接計算機(jī)的顯示輸出端，用于對計算機(jī)的顯示畫面進(jìn)行投影；攝像裝置連接計算機(jī)的數(shù)據(jù)輸入端，用于采集包含有計算機(jī)顯示畫面投影影像區(qū)域的視頻圖像，并將采集的視頻圖像實時傳輸給計算機(jī)；計算機(jī)用于運(yùn)行觸控操作應(yīng)用程序并顯示輸出觸控操作畫面，根據(jù)視頻圖像中指定的控制點位置，對觸控操作畫面中執(zhí)行觸控操作的位置進(jìn)行控制；該方法具體包括如下步驟：

1）通過測量投影儀投影的計算機(jī)顯示畫面投影影像區(qū)域的實際尺寸，確定計算機(jī)顯示畫面投影影像區(qū)域的世界坐標(biāo)區(qū)域，在計算機(jī)中建立計算機(jī)顯示輸出的顯示畫面坐標(biāo)域與投影儀投影的計算機(jī)顯示畫面投影影像世界坐標(biāo)區(qū)域之間的坐標(biāo)對應(yīng)轉(zhuǎn)換關(guān)系，作為顯示畫面坐標(biāo)-投影世界坐標(biāo)轉(zhuǎn)換模型記錄在計算機(jī)中；

2）控制計算機(jī)顯示由若干黑色、白色矩形塊交錯相鄰拼接形成的棋盤格圖案，由投影儀對計算機(jī)的顯示畫面進(jìn)行投影；

3）將投影儀投影的棋盤格圖案作為棋盤格標(biāo)定模板，利用攝像裝置從多個不同拍攝角度抓取棋盤格標(biāo)定模板的圖像，采用基于OpenCV的攝像機(jī)標(biāo)定方法對攝像裝置進(jìn)行標(biāo)定，得到攝像裝置的內(nèi)部參數(shù)和畸變系數(shù)，并保存在計算機(jī)中；

4）保持計算機(jī)的顯示狀態(tài)和投影儀的投影狀態(tài)不變，將投影儀投影的棋盤格圖案作為棋盤格標(biāo)定模板，設(shè)定攝像裝置的拍攝位置，抓取棋盤格標(biāo)定模板的圖像，由計算機(jī)利用保存的畸變系數(shù)對抓取的棋盤格標(biāo)定模板的圖像進(jìn)行畸變校正；

5）利用畸變校正后的棋盤格標(biāo)定模板的圖像以及計算機(jī)保存的內(nèi)部參數(shù)，再次采用基于OpenCV的攝像機(jī)標(biāo)定方法對攝像裝置進(jìn)行標(biāo)定，得到攝像裝置在設(shè)定的拍攝位置狀態(tài)下的旋轉(zhuǎn)矩陣和平移矩陣；

6）計算機(jī)根據(jù)保存的內(nèi)部參數(shù)以及設(shè)定的拍攝位置狀態(tài)下的旋轉(zhuǎn)矩陣和平移矩陣，得到設(shè)定的拍攝位置狀態(tài)下投影儀投影的計算機(jī)顯示畫面投影影像的世界坐標(biāo)區(qū)域與畸變校正后的視頻圖像的像素坐標(biāo)域之間的坐標(biāo)對應(yīng)轉(zhuǎn)換關(guān)系，作為投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型記錄在計算機(jī)中；