[發(fā)明專利]基于正視的人機交互方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710354064.5
• 申請日: 2017-05-18
• 公開（公告）號: CN107239139B
• 公開（公告）日: 2018-03-16
• 發(fā)明（設(shè)計）人: 劉國華
• 申請（專利權(quán)）人: 劉國華
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;H04N21/442
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司44224
• 代理人: 何平

1.一種基于正視的人機交互方法，其特征在于，包括步驟：

獲取通過圖像采集設(shè)備采集的用戶與設(shè)備處于相對正視狀態(tài)下的正視圖像數(shù)據(jù)；

通過所述圖像采集設(shè)備實時采集用戶當(dāng)前圖像數(shù)據(jù)，將當(dāng)前采集的圖像數(shù)據(jù)與所述正視圖像數(shù)據(jù)比較；

當(dāng)所述當(dāng)前采集的圖像數(shù)據(jù)和所述正視圖像數(shù)據(jù)一致時，判定用戶與設(shè)備處于相對正視狀態(tài)；

當(dāng)用戶與設(shè)備處于相對正視狀態(tài)時，通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作，所述計算機的視覺識別技術(shù)和語音識別技術(shù)包括人臉識別、語音識別、語義理解、手勢識別、唇語識別、聲紋識別、表情識別、年齡識別、卡片識別、人臉跟蹤、瞳孔識別以及虹膜識別；

所述當(dāng)所述當(dāng)前采集的圖像數(shù)據(jù)和所述正視圖像數(shù)據(jù)一致時，判定用戶與設(shè)備處于相對正視狀態(tài)的步驟之前還包括：

當(dāng)偵測到用戶時，定位所述用戶的面部位置為音源位置；

將聲音采集設(shè)備正對所述音源位置；

所述通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作的步驟包括：

通過所述聲音采集設(shè)備采集用戶聲音數(shù)據(jù)，當(dāng)采集的用戶聲音數(shù)據(jù)中攜帶有語音操作指令時，提取所述語音操作指令，控制設(shè)備執(zhí)行與所述語音操作指令對應(yīng)操作。

2.根據(jù)權(quán)利要求1所述的基于正視的人機交互方法，其特征在于，所述通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作的步驟包括：

對用戶與設(shè)備處于相對正視狀態(tài)的時間進(jìn)行計時；

當(dāng)用戶與設(shè)備處于相對正視狀態(tài)的時間大于預(yù)設(shè)時間時，通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作。

3.根據(jù)權(quán)利要求2所述的基于正視的人機交互方法，其特征在于，所述當(dāng)用戶與設(shè)備處于相對正視狀態(tài)的時間大于預(yù)設(shè)時間時，通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作的步驟之后還包括：

查找預(yù)設(shè)與用戶身份匹配的視頻圖像數(shù)據(jù)，控制設(shè)備顯示查找到的視頻圖像數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的基于正視的人機交互方法，其特征在于，所述通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作的步驟包括：

對所述用戶進(jìn)行語音識別和唇語識別；

當(dāng)語音識別結(jié)果和唇語識別結(jié)果一致時，控制設(shè)備響應(yīng)所述用戶的語音操作。

5.根據(jù)權(quán)利要求1所述的基于正視的人機交互方法，其特征在于，所述通過計算機的視覺識別技術(shù)和語音識別技術(shù)識別用戶行為和意圖，根據(jù)預(yù)設(shè)用戶的行為與意圖與操作對應(yīng)關(guān)系，控制設(shè)備執(zhí)行與用戶當(dāng)前的行為與意圖對應(yīng)的操作的步驟包括：

對所述用戶進(jìn)行語音識別和語義理解；

當(dāng)語音識別結(jié)果和語義理解的結(jié)果與設(shè)備當(dāng)前場景相符時，控制設(shè)備響應(yīng)所述用戶的語音操作。

6.根據(jù)權(quán)利要求1所述的基于正視的人機交互方法，其特征在于，所述當(dāng)所述當(dāng)前采集的圖像數(shù)據(jù)和所述正視圖像數(shù)據(jù)一致時，判定用戶與設(shè)備處于相對正視狀態(tài)的步驟之后還包括：

接收用戶輸入的操作指令，所述操作指令包括非正視狀態(tài)操作指令和正視狀態(tài)操作指令；

當(dāng)偵測到用戶不再處于所述正視狀態(tài)時，響應(yīng)用戶輸入的非正視狀態(tài)操作指令；

當(dāng)偵測到用戶再次進(jìn)入所述正視狀態(tài)時，響應(yīng)用戶輸入的正視狀態(tài)操作指令。

7.根據(jù)權(quán)利要求1所述的基于正視的人機交互方法，其特征在于，所述通過所述圖像采集設(shè)備實時采集用戶當(dāng)前圖像數(shù)據(jù)的步驟之后還包括：

獲取用戶正視設(shè)備時的圖像數(shù)據(jù)；

比較所述用戶正視設(shè)備時的圖像數(shù)據(jù)和當(dāng)前采集的圖像數(shù)據(jù)；

當(dāng)所述用戶正視設(shè)備時的圖像數(shù)據(jù)和當(dāng)前采集的圖像數(shù)據(jù)一致時，啟動計算機的視覺識別技術(shù)和語音識別技術(shù)、和/或預(yù)設(shè)操作，所述預(yù)設(shè)操作包括錄音與播放視頻。