[發(fā)明專利]基于視覺的交互式電子設(shè)備控制系統(tǒng)及其控制方法

無效

• 申請?zhí)枺?/td>: 201010127190.5
• 申請日: 2010-03-17
• 公開（公告）號: CN102193621A
• 公開（公告）日: 2011-09-21
• 發(fā)明（設(shè)計）人: 謝林;葛瑩;王進
• 申請（專利權(quán)）人: 三星電子(中國)研發(fā)中心;三星電子株式會社
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/62;G06T7/20
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 韓明星;王艷嬌

技術(shù)領(lǐng)域

本發(fā)明涉及一種交互式電子設(shè)備控制系統(tǒng)及其控制方法，更具體地，涉及一種基于視覺的交互式電子設(shè)備控制系統(tǒng)及其控制方法。

背景技術(shù)

現(xiàn)有的對電子設(shè)備的操作控制大致分為遙控器控制、聲音控制和手勢控制，其中大部分通過遙控器對電子設(shè)備進行操作，少數(shù)可通過聲控、手勢等進行簡單操作。因此，在易用性和準確性方面的欠缺大大削減了產(chǎn)品的普及性。例如，當用戶在看電視的過程中找不到遙控器，或在電視過程中睡著了，電視機一夜開到天亮的情況下不在少數(shù)，手動操作麻煩，缺乏人性化，尤其是對于老人來說，更不能得到較好的滿足。

就新型的人體感應識別來說，只能單純通過識別人體靠近和離開感應裝置上的攝像頭而達到自動開關(guān)的目的，這并不完全符合室內(nèi)用戶的操作習慣。同時，是否用戶靠近就是對屏幕的開啟這樣的操作，并且如何精確的識別用戶的離開是否是真的需要關(guān)閉或開啟也是需要繼續(xù)研討的部分。此外，攝像頭識別范圍局限，必須在一定范圍內(nèi)接受到人體感應才能完成。

現(xiàn)有的人眼識別的應用領(lǐng)域狹窄，目前大部分限于對內(nèi)容的控制和操作，給殘疾人的服務較多，其操作專注于對人眼的注視以及眼球的運動識別上，并需要附加的語音或者手勢控制設(shè)備，或者需要添加一些硬件設(shè)備來完成操作控制。

另外，以現(xiàn)有的感應器為基礎(chǔ)的交互式系統(tǒng)雖然說明了使用多種傳感器設(shè)備技術(shù)結(jié)合的方法實現(xiàn)的交互系統(tǒng)，但并未設(shè)計出詳細的通過感應器技術(shù)的控制指令運算方法。

發(fā)明內(nèi)容

本發(fā)明公開了一種通過攝像頭識別用戶睜眼/閉眼行為并組成控制指令，從而實現(xiàn)對電子設(shè)備進行交互式控制的方法及其控制系統(tǒng)。

根據(jù)本發(fā)明的一方面，提供了一種基于視覺的交互式電子設(shè)備控制系統(tǒng)，其特征在于包括：目標檢測與識別模塊，用于對用戶的人臉進行檢測與識別，并定位人眼；狀態(tài)監(jiān)測與識別模塊，用于對定位的人眼的狀態(tài)進行檢測，產(chǎn)生人眼狀態(tài)指令，并將產(chǎn)生的人眼狀態(tài)指令發(fā)送到指令識別與設(shè)置模塊；指令識別與設(shè)置模塊，用于判斷所述人眼狀態(tài)指令的有效性，并根據(jù)所述人眼狀態(tài)指令對電子設(shè)備進行相應的控制。

所述目標檢測與識別模塊可包括：運動檢測模塊，用于檢測運動的用戶；人臉識別模塊，用于對檢測到的用戶進行圖像分割和處理，并識別和定位人臉位置；人臉跟蹤模塊，用于跟蹤所述人臉；人眼定位模塊，用于定位用戶人臉的眼部區(qū)域。

所述狀態(tài)監(jiān)測與識別模塊可包括：人眼狀態(tài)監(jiān)測模塊，用于判斷人眼狀態(tài)而產(chǎn)生人眼狀態(tài)碼，并將所述人眼狀態(tài)碼發(fā)送到人眼狀態(tài)識別模塊；計時器，用于對所述人眼狀態(tài)的保持時間進行計時，并將計時結(jié)果發(fā)送到人眼狀態(tài)識別模塊；人眼狀態(tài)識別模塊，用于產(chǎn)生由所述人眼狀態(tài)碼和計時結(jié)果形成的人眼狀態(tài)指令，并發(fā)送所述人眼狀態(tài)指令。

所述人眼狀態(tài)碼可包括(0，0)、(0，1)、(1，0)和(1，1)，其中，“0”表示閉眼，“1”表示睜眼。

所述指令識別與設(shè)置模塊可包括：指令分析和識別模塊，用于通過將由所述狀態(tài)監(jiān)測與識別模塊發(fā)送的人眼狀態(tài)指令所構(gòu)成的指令隊列與指令集中的預定指令進行比較來判斷所述指令隊列是否有效，如果所述指令隊列有效，則將指令隊列中的有效指令發(fā)送到指令輸出模塊，并清空指令隊列，如果所述指令隊列無效，則對指令隊列進行糾錯；如果糾錯成功，則返回再次判斷糾錯成功的指令隊列是否有效，如果糾錯超時或失敗，則繼續(xù)從狀態(tài)監(jiān)測與識別模塊接收人眼狀態(tài)指令；指令輸出模塊，用于根據(jù)所述有效指令對電子設(shè)備進行相應的控制；指令集，用于存儲預定指令；指令設(shè)置模塊，用于對指令集中的預定指令進行設(shè)置。

所述對指令隊列進行糾錯的步驟包括對干擾指令進行過濾。

根據(jù)本發(fā)明的另一方面，提供了一種基于視覺的交互式電子設(shè)備控制方法，其特征在于包括：對用戶的人臉進行檢測與識別，定位人眼；對定位的人眼的狀態(tài)進行檢測，產(chǎn)生人眼狀態(tài)指令，并將產(chǎn)生的人眼狀態(tài)指令發(fā)送到指令識別與設(shè)置模塊；判斷所述人眼狀態(tài)指令的有效性，并根據(jù)所述人眼狀態(tài)指令對電子設(shè)備進行相應的控制。

所述對用戶的人臉進行檢測與識別而定位人眼的步驟可包括：檢測運動的用戶；對檢測到的用戶進行圖像分割和處理，識別和定位人臉位置；跟蹤所述人臉；定位用戶人臉的眼部區(qū)域。

所述對定位的人眼的狀態(tài)進行檢測而產(chǎn)生人眼狀態(tài)指令、并將產(chǎn)生的人眼狀態(tài)指令發(fā)送到指令識別與設(shè)置模塊的步驟可包括：判斷人眼狀態(tài)，產(chǎn)生人眼狀態(tài)碼，并將所述人眼狀態(tài)碼發(fā)送到人眼狀態(tài)識別模塊；對所述人眼狀態(tài)的保持時間進行計時，并將計時結(jié)果發(fā)送到人眼狀態(tài)識別模塊；產(chǎn)生由所述人眼狀態(tài)碼和計時結(jié)果形成的人眼狀態(tài)指令，并發(fā)送所述人眼狀態(tài)指令。