[發明專利]一種基于手寫輸入和指尖鼠標的電視人機交互方法

有效

• 申請號: 201110141433.5
• 申請日: 2011-05-27
• 公開（公告）號: CN102184021A
• 公開（公告）日: 2011-09-14
• 發明（設計）人: 姜小波;石任重
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;H04N5/44;G06K9/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

技術領域

本發明涉及電視遙控技術，具體涉及一種基于手寫輸入和指尖鼠標的電視人機交互方法。

背景技術

目前，隨著三網融合的推進，智能電視的發展對電視的交互式操作提出了更多的要求。電視人機交互需要文字輸入和鼠標點擊功能。傳統的按鍵式遙控器無法滿足電視發展帶來的新的交互需求。電視的發展和電視的特點，對電視的人機交互提出了三個要求：第一個要求自然、便利的文字輸入、網頁的瀏覽、選取和頻道選擇。第二個要求是實時性。第三個要求是電視機的人機交互必須在遠距離（3～5米）、復雜背景下完成，而計算機和手持設備的距離大概30公分以內。這也是目前電視的人機交互落后于計算機和手持設備的原因。

基于視覺的電視人機交互成為一個主流技術，目前主要是手勢控制，滿足了電視人機交互的部分需求，但還無法滿足文字輸入和精確鼠標控制的需求。同時，目前的手勢檢測、指尖定位等圖像處理技術大部分是基于近距離、簡單背景的，還有一部分是特殊應用場景的。適用于電視交互的遠距離、復雜背景的手勢分割、檢測等圖像處理技術還有待研究。由于電視行業對新型人機交互方式的迫切需求，目前出現了多種電視人機交互技術。其中，基于視覺的非接觸人機交互是目前的主流之一。

國外已經有實驗室和公司進行新型電視人機交互研究，并且結合電視、游戲機等產品推出了一些概念產品，而國內電視廠商也推出了部分手勢控制概念產品。目前推出的基于視覺電視交互技術把圖像處理技術應用到了電視交互方面，使交互更加人性化，更加自然。不過還存在一些不足，交互方式基本通過手勢控制電視，這種模糊的控制，還無法滿足文字輸入、鼠標控制的精確控制功能。在頻道選擇功能上，也頗不方便。日立、松下和東芝等日本企業已經推出了基于手勢控制的電視樣機。日立在2010年發布了一款手勢電視的樣機，通過揮動手臂就能開關電視、換臺、瀏覽并選擇多媒體視頻窗口，而無需遙控器。松下已經開發出EZ?Touch手勢遙控技術，透過量測光的“飛行時間”（近紅外光源發出的光線反射到CCD影像感測器所需要的時間）來感測手勢。英國劍橋東芝實驗室的科學家開發出了一種被稱作“互動影像”新技術，僅僅依靠手勢即可對電視頻道進行切換和調控。微軟推行的Natal計劃，其中一部分就包含了用于電視的基于視覺的動作操作方式。谷歌推出的Google?TV在設計上也考慮了新型操作方式的問題。Kinect技術利用深度攝像頭，可以測出目標的深度信息，從而在復雜背景中分割人體?，目前已經在微軟的Xbox游戲設備中使用。2011年1月，海信集團在美國?CES?消費電子展上展示了最新智能感應觸控電視?Hi-Touch。Hi-Touch具有通過手勢控制電視換臺、瀏覽等功能。2010年的11月，康佳發布了多功能人機交互電視的一款概念機型，采用計算機視覺技術，通過手勢控制電視。

隨著人機交互技術和電視的發展，已經發展了很多新的電視人機交互技術。特別是基于視覺的人機交互技術成為電視人機交互技術的一個主流。目前發展的電視人機交互技術突破了傳統的按鍵式方法，更加自然。不過，尚無法滿足文字輸入的要求；鼠標控制方面也還存在缺陷；同時，通過手勢控制頻道也不是很方便，目前電視存在幾十上百個頻道，通過手勢控制頻道是一個比較繁瑣的事情。因此，提供一種基于手寫輸入和指尖鼠標的電視人機交互方法，可以較好的解決這些問題。

發明內容

本發明的目的在于克服現有技術存在的上述缺陷，提供一種基于手寫輸入和指尖鼠標的電視人機交互方法，其核心是基于雙攝像頭的遠距離實時手勢分割和檢測以及指尖定位?；趫D像的交互方法是一種自然的交互方式。本發明可以減少手勢檢測和指尖定位的運算量，降低電視屏幕光線變化對指尖定位的影響，采用在線的方式對食指分割的閾值進行動態調整，滿足電視人機交互操作實時性的要求，具體技術方案如下。

一種基于手寫輸入和指尖鼠標的電視人機交互方法，具體包括以下步驟：

步驟一：圖像采集，將兩個相同型號的攝像頭固定在一個裝置上或者安裝在電視機內，期間需要保證兩個攝像頭之間沒有相對位移，雙目攝像頭同步采集視頻數據流。

步驟二：圖像三維重建，圖像重建是利用雙目立體視覺技術來實現，包括攝像頭標定和重建兩個步驟。標定的目的是為了獲得攝像頭的內部參數和外部參數，且采用基于人工標定的視覺方法來實現。

步驟三：前景分割，人手位于攝像頭特定的距離內，這樣人手前景就可以和人的身體以及其它背景分離開來，這種基于深度信息的前景分割不受人體膚色和光照的影響，具有較高的魯棒性。