[發明專利]人機交互方法和裝置

在審

• 申請號: 202011309885.5
• 申請日: 2020-11-20
• 公開（公告）號: CN112286364A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 宋洪博;鄧建凱;樊帥
• 申請（專利權）人: 蘇州思必馳信息科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06K9/00
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;鄧婷婷

本發明公開一種人機交互方法和裝置，方法包括：基于攝像設備，采集第一連續圖像幀；利用第一連續圖像幀識別人臉屬性，識別人臉屬性與攝像設備的距離值，判定距離值是否在有效距離內；當判定距離值在有效距離內，利用人臉屬性確定人臉朝向角度，判定人臉朝向角度是否為有效角度以及人臉朝向角度為有效角度的時間是否持續預設時長；若人臉朝向角度為有效角度且人臉朝向角度為有效角度的時間持續預設時長，則采集音頻并判斷音頻是否包含人聲，同時采集第二連續圖像幀，獲取第二連續圖像幀中的臉部特征，至少基于臉部特征判定說話人是否在說話；若說話人在說話，則結合音頻及臉部特征，獲取有效音頻。

技術領域

本發明屬于人工智能領域，尤其涉及一種人機交互方法和裝置。

背景技術

在公共場所進行人機語音交互(比如地鐵購票機、自動售貨機、展廳大屏等)，存在大量的背景噪聲。目前存在基于麥克風陣列的前端信號處理技術拒識遠距離的噪聲和基于唇動做噪聲拒識的方法。

其中，基于麥克風陣列的前端信號處理技術，拒識遠距離的噪聲配置麥克風陣列硬件設備，采集音頻，通過信號處理技術，計算聲源位置，根據聲源位置拒識較遠聲源的音頻，從而實現噪聲拒識。若說話人在較近距離范圍內說話，該技術無法區分，說話人是否是對交互設備說話，不能確定說話人焦點是否在交互設備上，就不能區分哪些是說話人的無效音頻。

基于唇動做噪聲拒識配置麥克風陣列和攝像頭硬件設備，同時采集說話人的音頻和說話人臉連續的圖像幀，根據音頻特征和圖像中說話人唇部狀態，判斷音頻是否為說話人對應的有效音頻，若有效人聲和唇動不同步，則認為該音頻為無效音頻，從而實現噪聲拒識。

發明內容

本發明實施例提供一種人機交互方法及裝置，用于至少解決上述技術問題之一。

第一方面，本發明實施例提供一種人機交互方法，包括：基于攝像設備采集第一連續圖像幀；利用所述第一連續圖像幀識別人臉屬性，識別所述人臉屬性與所述攝像設備的距離值，判定所述距離值是否在有效距離內；當判定所述距離值在有效距離內，利用所述人臉屬性確定人臉朝向角度，比對所述人臉朝向角度與標準人臉朝向角度，判定所述人臉朝向角度是否為有效角度以及所述人臉朝向角度為有效角度的時間是否持續預設時長；若所述人臉朝向角度為有效角度且所述人臉朝向角度為有效角度的時間持續預設時長，則打開麥克風陣列采集音頻并判斷所述音頻是否包含人聲，同時采集第二連續圖像幀，獲取所述第二連續圖像幀中的臉部特征，至少基于所述臉部特征判定說話人是否在說話；以及若所述說話人在說話，則結合所述音頻及所述臉部特征，獲取有效音頻。

第二方面，本發明實施例提供一種人機交互裝置，包括：圖像采集模塊，配置為基于攝像設備采集第一連續圖像幀；距離判定模塊，配置為利用所述第一連續圖像幀識別人臉屬性，識別所述人臉屬性與所述攝像設備的距離值，判定所述距離值是否在有效距離內；人臉檢測模塊，配置為當判定所述距離值在有效距離內，利用所述人臉屬性確定人臉朝向角度，比對所述人臉朝向角度與標準人臉朝向角度，判定所述人臉朝向角度是否為有效角度以及所述人臉朝向角度為有效角度的時間是否持續預設時長；音圖采集模塊，配置為若所述人臉朝向角度為有效角度且所述人臉朝向角度為有效角度的時間持續預設時長，則打開麥克風陣列采集音頻并判斷所述音頻是否包含人聲，同時采集第二連續圖像幀，獲取所述第二連續圖像幀中的臉部特征，至少基于所述臉部特征判定說話人是否在說話；以及音頻獲取模塊，配置為若所述說話人在說話，則結合所述音頻及所述臉部特征，獲取有效音頻。

第三方面，提供一種計算機程序產品，所述計算機程序產品包括存儲在非易失性計算機可讀存儲介質上的計算機程序，所述計算機程序包括程序指令，當所述程序指令被計算機執行時，使所述計算機執行第一方面所述的人機交互方法的步驟。

第四方面，本發明實施例還提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行第一方面所述方法的步驟。