[發明專利]智能家居多模態人機自然交互系統及其方法

在審

• 申請號: 202011339808.4
• 申請日: 2020-11-25
• 公開（公告）號: CN112462940A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 奚雪峰;邵幫麗;崔志明;付保川;楊敬晶
• 申請（專利權）人: 蘇州科技大學;蘇州金比特信息科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T5/00;G06T5/30;G06T5/40;G06T7/11;G06T7/136;G06T7/90;G10L15/06;G10L15/22
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 王玉國

1.智能家居多模態人機自然交互系統，其特征在于：包含手勢識別模型預訓練模塊(1)、語音識別模型預訓練模塊(2)、手勢識別模塊(3)、語音識別模塊(4)和多模態融合模塊(5)，所述手勢識別模型預訓練模塊(1)，利用手勢數據集訓練搭建的網絡模型，并保存訓練好的手勢識別模型；所述語音識別模型預訓練模塊(2)，加載中文語音數據集，依次訓練聲學模型和語言模型，并保存訓練好的語音識別模型；所述手勢識別模塊(3)，利用手勢識別模型預訓練模塊(1)保存的手勢識別模型對采集的手勢進行預測；所述語音識別模塊(4)，調用語音識別模型預訓練模塊(2)保存的語音識別模型對采集的音頻進行識別；所述多模態融合模塊(5)，對手勢識別模塊(3)和語音識別模塊(4)兩種模態結果進行融合，得出最終指令。

2.根據權利要求1所述的智能家居多模態人機自然交互系統，其特征在于：所述手勢識別模型預訓練模塊(1)包含構建數據集模塊(101)、數據預處理模塊(102)、模型構建模塊(103)和模型訓練模塊(104)，所述構建數據集模塊(101)，預設的五類標簽，即關閉close、打開open、調高up、調低down、無nothing各自對應采集同等數量的手勢圖片，并利用數據增強的方法擴大數據規模，為手勢識別模型訓練提供數據支撐；所述數據預處理模塊(102)，經過去噪、膚色分割、二值化處理、形態學處理和輪廓提取，得到模型的標準化輸入；所述模型構建模塊(103)，搭建網絡模型，用于提取手勢圖片特征；所述模型訓練模塊(104)，將構建數據集模塊(101)的數據集分批次作為模型構建模塊(103)的網絡模型的輸入，利用反向傳播算法更新模型參數，并保存訓練好的手勢識別模型。

3.根據權利要求2所述的智能家居多模態人機自然交互系統，其特征在于：構建數據集模塊(101)利用攝像頭采集自定義的五種指令的圖片，利用數據增強的方法，添加椒鹽噪聲、添加高斯噪聲、降低圖片亮度、提高圖片亮度、以隨機角度旋轉以及翻轉，對數據集進行擴充，從而完成數據集的構建；數據預處理模塊(102)，包括去噪、膚色分割和二值化處理，形態學處理、輪廓提取流程，采用高斯濾波實現去噪，用卷積模板掃描圖像中的每一個像素并確定其鄰域內像素點的加權平均灰度值，用以替代中心處的像素點的值，如果二維模板大小為m×n，則卷積模板上的點(x,y)有如下公式：

其中，σ是正態分布的標準差，其值越小圖像越清晰；m和n表示卷積模板的尺寸；

兩種膚色分割第一種是基于自適應閾值法的膚色分割，先計算灰度直方圖并歸一化；再計算灰度的均值；接著根據直方圖計算零階矩u[i]和一階矩v[i]；之后計算最大類間方差f[i]，此時，得出的方差的灰度值便是自適應閾值，其公式如下：

另一種是基于HSV顏色空間的膚色分割，SkinMask模式的操作為先獲取手勢框圖，將其轉換到HSV空間；再獲取圖片每個像素點的HSV值，即一個二維矩陣拆成三個二維矩陣；最后根據膚色范圍定義H、S、V值的遮罩，設置判斷條件，未在膚色范圍內把遮罩設為黑色即可；膚色分割完成后對選中的圖像進行二值化處理操作，二值化算法用以下公式計算，其中T為閾值：

形態學處理對膚色分割殘存的黑點，或是背景上留有的白點，進行腐蝕和膨脹操作，膨脹是求局部最大值操作，腐蝕是求最小值的操作；

采用膚色提取手勢輪廓的方法，在取得預處理的圖像后先去除偽輪廓并定位面積的最大輪廓；再計算各個輪廓的各階矩、周長、面積、質心、最短最長徑長、外接矩形的特征；之后取得各個輪廓的外包絡和缺陷點的集合；接著二次去除偽輪廓后計算輪廓基于質心的特征向量；最后對輪廓中可能是手指的點依次定位。