[發明專利]人機交互方法和裝置

在審

• 申請號: 202011309885.5
• 申請日: 2020-11-20
• 公開（公告）號: CN112286364A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 宋洪博;鄧建凱;樊帥
• 申請（專利權）人: 蘇州思必馳信息科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06K9/00
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;鄧婷婷

1.一種人機交互方法，包括：

基于攝像設備采集第一連續圖像幀；

利用所述第一連續圖像幀識別人臉屬性，識別所述人臉屬性與所述攝像設備的距離值，判定所述距離值是否在有效距離內；

當判定所述距離值在有效距離內，利用所述人臉屬性確定人臉朝向角度，比對所述人臉朝向角度與標準人臉朝向角度，判定所述人臉朝向角度是否為有效角度以及所述人臉朝向角度為有效角度的時間是否持續預設時長；

若所述人臉朝向角度為有效角度且所述人臉朝向角度為有效角度的時間持續預設時長，則打開麥克風陣列采集音頻并判斷所述音頻是否包含人聲，同時采集第二連續圖像幀，獲取所述第二連續圖像幀中的臉部特征，至少基于所述臉部特征判定說話人是否在說話；

若所述說話人在說話，則結合所述音頻及所述臉部特征，獲取有效音頻。

2.根據權利要求1所述的方法，其中，所述識別所述人臉屬性與所述攝像設備距離值包括：

根據攝像設備標定位置和人臉特征計算人臉屬性與攝像設備距離值。

3.根據權利要求1所述的方法，其中，所述利用人臉屬性確定人臉朝向角度包括：

利用所述人臉屬性計算出人臉3D模型，其中，所述人臉屬性包括人臉關鍵點，其中所述人臉關鍵點包括眼睛、鼻子或嘴唇；

根據所述人臉3D模型與所述攝像設備位置計算出所述人臉朝向角度。

4.根據權利要求1所述的方法，其中，與所述預設時長包括設置為Ms，其中M大于0。

5.根據權利要求1所述的方法，其中，在所述判定所述人臉朝向角度是否為有效角度以及所述人臉朝向角度為有效角度的時間是否持續預設時長之后，所述方法還包括：

若所述人臉朝向角度為無效角度或者所述人臉朝向角度為有效角度的時間未持續預設時長，則繼續檢測，并保持麥克風陣列關閉。

6.根據權利要求1所述的方法，其中，所述第二連續圖像幀中的臉部特征還包括唇動特征。

7.根據權利要求1或6所述的方法，其中，結合所述音頻及所述臉部特征，獲取所述有效音頻的方法包括：

通過語音活動檢測，識別所述音頻是否包含人聲；

通過圖像采集算法，識別所述臉部特征是否在活動。

8.根據權利要求7所述的方法，其中，在所述獲取有效音頻之后，所述方法還包括：

經由語音識別引擎進行語音識別，并經由對話交互引擎進行對話交互；

重新開啟攝像設備以進行新一輪的采集。

9.一種人機交互裝置，包括：

圖像采集模塊，配置為基于攝像設備采集第一連續圖像幀；

距離判定模塊，配置為利用所述第一連續圖像幀識別人臉屬性，識別所述人臉屬性與所述攝像設備的距離值，判定所述距離值是否在有效距離內；

人臉檢測模塊，配置為當判定所述距離值在有效距離內，利用所述人臉屬性確定人臉朝向角度，比對所述人臉朝向角度與標準人臉朝向角度，判定所述人臉朝向角度是否為有效角度以及所述人臉朝向角度為有效角度的時間是否持續預設時長；

音圖采集模塊，配置為若所述人臉朝向角度為有效角度且所述人臉朝向角度為有效角度的時間持續預設時長，則打開麥克風陣列采集音頻并判斷所述音頻是否包含人聲，同時采集第二連續圖像幀，獲取所述第二連續圖像幀中的臉部特征，至少基于所述臉部特征判定說話人是否在說話；

音頻獲取模塊，配置為若所述說話人在說話，則結合所述音頻及所述臉部特征，獲取有效音頻。

10.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1至8中任一項所述方法的步驟。