[發明專利]一種基于多模態交互的分布式物聯網設備協同方法及其系統

在審

• 申請號: 201910988977.1
• 申請日: 2019-10-17
• 公開（公告）號: CN110718227A
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 鄭敏;鄭煒喬
• 申請（專利權）人: 深圳市華創技術有限公司
• 主分類號: G10L15/30
• 分類號: G10L15/30;G10L15/22;G10L15/25;G10L15/34;H04L29/08
• 代理公司: 11562 北京東方盛凡知識產權代理事務所(普通合伙)
• 代理人: 張雪

1.一種基于多模態交互的分布式物聯網設備協同方法，其特征在于，包括以下步驟：

S1：分布式物聯網設備每個子設備本地實時采集用戶的語音，做語音喚醒判斷；

S2：每個語音喚醒命中的子設備啟動攝像頭獲取當前場景的圖片，進行實時人臉檢測，并計算人臉檢測的結果和置信度；

S3：在每個子設備上當判斷當前場景中存在人臉時，立即向交互中控傳輸該子設備上的語音喚醒結果和人臉檢測結果，該結果包括但不限于語音喚醒和人臉喚醒的置信度；若當判斷當前場景中不存在人臉時，則清除設備自身的語音喚醒結果并不向交互中控上報語音喚醒與人臉檢測結果；

S4：交互中控根據接收到的各個子設備的語音喚醒結果和人臉檢測結果，將最大語音喚醒得分和人臉檢測置信度結果對應的子設備確定為響應用戶喚醒的子設備，并通知該子設備進行響應提示，繼續拾取用戶語音命令，并持續將該子設備的用戶語音命令向語音云端服務器發起語音處理請求，同時清除其他分布式子設備的喚醒信息；

S5：語音云端服務器實時執行語音識別、語義理解、對話管理和語音合成操作處理用戶語音命令，并將響應結果返回。

2.如權利要求1所述的一種基于多模態交互的分布式物聯網設備協同方法，其特征在于，S1中，分布式物聯網設備表征多個智能終端，每個智能終端都有其麥克風陣列，包括但不限于線性2麥、線性4麥、線性6麥、環形4麥或非規則麥克風陣列。

3.如權利要求1所述的一種基于多模態交互的分布式物聯網設備協同方法，其特征在于，S2中，人臉檢測方法包括圖片的預處理操作和基于MTCNN的人臉檢測算法兩個步驟，MTCNN在網絡結構上由3個輕量級的CNN組成，分別是P-Net、R-Net和O-Net，對輸入的預處理后的圖片，先后經過這3個網絡的處理，最終輸出人臉檢測和關鍵點檢測的結果。

4.如權利要求3所述的一種基于多模態交互的分布式物聯網設備協同方法，其特征在于，S2中，實時人臉檢測功能采用基于多任務級聯卷積神經網絡-MTCNN的人臉檢測算法。

5.一種如權利要求1所述的基于多模態交互的分布式物聯網設備協同系統，其特征在于，由分布式物聯網設備、交互中控和語音云端服務器組成，所述分布式物聯網設備帶有麥克風陣列音頻采集模塊和攝像頭圖像采集模塊，麥克風陣列音頻采集模塊實時采集語音信號并做信號處理運算和語音喚醒處理，分布式物聯網子設備在語音喚醒后啟動攝像頭圖像采集模塊實時采集圖片并做人臉檢測處理，在判斷存在人臉時通過通信連接將語音喚醒和人臉檢測的多模態數據傳輸給交互中控，所述分布式物聯網設備還設有語音回復與播報模塊；所述交互中控根據每個所述分布式物聯網設備上傳的內容，其包括語音喚醒仲裁模塊、語音代理服務模塊和網絡通信模塊，通過語音喚醒仲裁模塊、語音代理服務模塊和網絡通信模塊確定出需要進行喚醒響應的分布式物聯網子設備并讓其繼續監聽用戶語音命令，同時清除其他分布式子設備的喚醒信息，并將該用戶語音命令通過網絡通信實時請求語音云端服務器進行語音識別、語義理解，語音實時處理后下達相對應的控制命令和語音回復內容給到該喚醒響應的物聯網子設備；所述語音云端服務器包括執行語音識別模塊、語義理解模塊、對話管理模塊、語音合成模塊和網絡通信模塊，通過網絡通信模塊將響應結果返回給交互中控。