[發明專利]基于正視的人機交互方法與系統

有效

• 申請號: 201710354064.5
• 申請日: 2017-05-18
• 公開（公告）號: CN107239139B
• 公開（公告）日: 2018-03-16
• 發明（設計）人: 劉國華
• 申請（專利權）人: 劉國華
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;H04N21/442
• 代理公司: 廣州華進聯合專利商標代理有限公司44224
• 代理人: 何平

技術領域

本發明涉及人機交互技術領域，特別是涉及基于正視的人機交互方法與系統。

背景技術

人機交互是指人與設備之間使用某種對話語言，以一定的交互方式，為完成確定任務的人與設備之間的信息交換過程。

隨著科學技術的發展，人機交互技術的應用領域越來越寬廣，小如收音機的播放按鍵，大至飛機上的儀表板、或是發電廠的控制室，用戶都可以通過人機交互界面與系統交流，并進行操作。目前在人機交互技術中，主流的人機交互方式主要包括3種，第一種是傳統按鍵方式；第二種是特定語音詞激活方式，如：在對話前先說“小冰你好”，設備才識別后面所聽到的語音；第三種是“舉手發言”，即先用一個特定手勢動作來讓設備啟動語音識別。

上述人機交互方式，雖然在一定程度上可以實現人機交互功能，但是由于交互方式單一，需要預先設定一定特定手勢動作，交互過程并不十分自然，在一定程度上給用戶操作帶來不便。

發明內容

基于此，有必要針對一般人機交互方式單一且不自然給用戶帶來不便操作的問題，提供一種人機交互方式多樣，且交互過程自然，給用戶帶來便捷操作的基于正視的人機交互方法與系統。

一種基于正視的人機交互方法，包括步驟：

獲取通過圖像采集設備采集的用戶與設備處于相對正視狀態下的正視圖像數據；

通過圖像采集設備實時采集用戶當前圖像數據，將當前采集的圖像數據與正視圖像數據比較；

當當前采集的圖像數據和正視圖像數據一致時，判定用戶與設備處于相對正視狀態；

當用戶與設備處于相對正視狀態時，通過計算機的視覺識別技術和語音識別技術識別用戶行為和意圖，根據預設用戶的行為與意圖與操作對應關系，控制設備執行與用戶當前的行為與意圖對應的操作，所述計算機的視覺識別技術和語音識別技術包括人臉識別、語音識別、語義理解、手勢識別、唇語識別、聲紋識別、表情識別、年齡識別、卡片識別、人臉跟蹤、瞳孔識別以及虹膜識別。

一種基于正視的人機交互系統，包括：

獲取模塊，用于獲取通過圖像采集設備采集的用戶與設備處于相對正視狀態下的正視圖像數據；

比較模塊，用于通過圖像采集設備實時采集用戶當前圖像數據，將當前采集的圖像數據與正視圖像數據比較；

判定模塊，用于當當前采集的圖像數據和正視圖像數據一致時，判定用戶與設備處于相對正視狀態；

控制模塊，用于當用戶與設備處于相對正視狀態時，通過計算機的視覺識別技術和語音識別技術識別用戶行為和意圖，根據預設用戶的行為與意圖與操作對應關系，控制設備執行與用戶當前的行為與意圖對應的操作，所述計算機的視覺識別技術和語音識別技術包括人臉識別、語音識別、語義理解、手勢識別、唇語識別、聲紋識別、表情識別、年齡識別、卡片識別、人臉跟蹤、瞳孔識別以及虹膜識別。

本發明基于正視的人機交互方法與系統，獲取通過圖像采集設備采集的用戶與設備處于相對正視狀態下的正視圖像數據，采集用戶當前圖像數據，將當前采集的圖像數據與正視圖像數據比較，當一致時，判定用戶與設備處于相對正視狀態，通過計算機的視覺識別技術和語音識別技術識別用戶行為和意圖，根據預設用戶的行為與意圖與操作對應關系，控制設備執行與用戶當前的行為與意圖對應的操作。整個過程中，基于圖像采集設備采集的圖像數據進行正視判定，并以用戶與設備的正視狀態判定作為人機交互前提條件，確保當前用戶確實有人機交互需求，整個人機交互過程自然，另外采用包括人臉識別、語音識別、手勢識別、唇語識別、聲紋識別、表情識別、年齡識別、卡片識別、瞳孔識別以及虹膜識別的多種動作識別方式識別用戶下一步動作，能夠實現多樣式人機交互，給用戶帶來便捷操作。

附圖說明

圖1為本發明基于正視的人機交互方法第一個實施例的流程示意圖；

圖2為本發明基于正視的人機交互方法第二個實施例的流程示意圖；

圖3為本發明基于正視的人機交互系統第一個實施例的結構示意圖；

圖4為本發明基于正視的人機交互方法與系統具體應用場景示意圖。

具體實施方式

如圖1所示，一種基于正視的人機交互方法，包括步驟：

S200：獲取通過圖像采集設備采集的用戶與設備處于相對正視狀態下的正視圖像數據。