[發明專利]基于體態控制的語義信息采集系統及方法

有效

• 申請號: 202010063277.4
• 申請日: 2020-01-20
• 公開（公告）號: CN111274460B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 吳怡
• 申請（專利權）人: 重慶百事得大牛機器人有限公司
• 主分類號: G06F16/9032
• 分類號: G06F16/9032;G06F16/9035;G06K9/00;G06Q50/18;G10L15/26;G10L15/30
• 代理公司: 重慶強大凱創專利代理事務所(普通合伙) 50217
• 代理人: 文怡然

1.基于體態控制的語義信息采集系統，包括圖像采集模塊、聲音采集模塊、服務器和輸出模塊，其特征在于，服務器包括語音識別模塊、肢體語言分析模塊、法律數據庫和處理模塊，其中：

圖像采集模塊和聲音采集模塊分別用于實時獲取用戶的視頻數據和聲音信息；

語音識別模塊，用于接收并處理聲音信息，生成相應的文本信息；

肢體語言分析模塊，用于分析用戶在交談過程中下意識觸發的舉動，接收并處理視頻數據，生成圖像數據；并提取圖像數據中的特征信息，生成肢體語言信息；

法律數據庫，用于預先存儲若干法律信息；

處理模塊，用于接收并處理肢體語言信息和文本信息，若采集到的肢體語言信息與文本信息不符，生成告警信號，提示用戶重新確認；反之，則提取出文本信息中的關鍵字信息并根據關鍵字信息從法律數據庫中匹配出相應的法律信息，并根據法律信息生成法律建議書；

輸出模塊，用于接收并顯示法律建議書；

語音識別模塊包括語音特征提取子模塊、語料數據庫和結果生成子模塊，其中：

語音特征提取子模塊，用于采用濾波和分幀對聲音信息進行預處理；并根據傅里葉變換處理聲音信息，生成特征向量；

語料數據庫，用于預先存儲若干語音樣本信息；

結果生成子模塊，用于根據深度神經網絡處理語音樣本信息，經過多次迭代訓練，得到訓練成功的語言模型；并根據HMM算法處理特征向量，將特征向量匹配到語言模型中，生成相應的文本信息；

肢體語言分析模塊包括圖像預處理子模塊、目標檢測子模塊以及肢體語言判斷子模塊，其中：

圖像預處理子模塊，用于采用灰度轉化、中值濾波和直方圖均衡化對視頻數據進行處理；

目標檢測子模塊，目標檢測子模塊，用于預先設定分隔閾值，并根據幀間差分法處理視頻數據，對視頻數據中相鄰兩幀圖像的像素點灰度值進行差運算，若差值的絕對值大于分隔閾值，則提取出圖像中的人手區域；目標檢測子模塊還用于對人手區域采用二值化處理，生成第一窗口信息；

肢體語言判斷子模塊，用于根據目標跟蹤算法處理第一窗口信息，生成以胳膊肘作為原點、前臂作為縱軸、后臂作為橫軸的二維坐標系；并將前臂與后臂垂直時，前臂的區域劃定為第一窗口信息的中間區域；當前臂向左右擺動離開中間區域時，判斷為否定語義信息；

目標檢測子模塊還用于根據輪廓特征提取圖像中用戶的頭部區域，生成第二窗口信息，其中第二窗口信息中還包括用戶的面部五官；

肢體語言判斷子模塊還用于以面部五官作為參照對象，并判斷相鄰兩幀圖像中參照對象的相對位置信息，如果相對位置信息為縱向變化，則判定為肯定語義信息，反之，如果相對位置信息為橫向變化，判定為否定語義信息；

還包括自糾正模塊，用于提取文本信息中連續出現的特征向量，若其中一個特征向量與其余特征向量的長度和方向不同，則提取并處理該特征向量發生節點的視頻數據，得到肢體語言信息；如果肢體語言信息和文本信息不符，則生成提示信息。

2.根據權利要求1所述的基于體態控制的語義信息采集系統，其特征在于：所述圖像預處理子模塊還用于根據Gray＝(R*30+G*59+B*11)/100將視頻數據中每個像素點的RGB顏色空間轉換為一維灰度值；并根據顏色直方圖對每個像素點的灰度值進行統計后，采用歸一化處理將灰度值重新分配。

3.根據權利要求1所述的基于體態控制的語義信息采集系統，其特征在于：所述分隔閾值為15。

4.基于體態控制的語義信息采集方法，其特征在于：還包括如下步驟：

S1、通過圖像采集模塊和聲音采集模塊實時獲取用戶的視頻數據和聲音信息；并向法律數據庫中預先輸入若干法律信息；

S2、通過聲音識別模塊接收并處理聲音信息，生成相應的文本信息；

S3、通過分析用戶在交談過程中下意識觸發的舉動，由肢體語言分析模塊接收并處理視頻數據，生成圖像數據；并提取圖像數據中的特征信息，生成肢體語言信息；

S4、通過處理模塊接收并處理肢體語言信息和文本信息，若采集到的肢體語言信息與文本信息不符，生成告警信號，提示用戶重新確認；反之，則提取出文本信息中的關鍵字信息并根據關鍵字信息從法律數據庫中匹配出相應的法律信息，再根據法律信息生成法律建議書；

S5、通過輸出模塊推送出法律建議書；

步驟S2包括如下步驟：

S201、通過語音特征提取子模塊采用濾波和分幀對聲音信息進行預處理；并根據傅里葉變換處理聲音信息，生成特征向量；并預先向語料數據庫中輸入若干語音樣本信息；

S202、通過結果生成子模塊根據深度神經網絡處理語音樣本信息，經過多次迭代訓練，得到訓練成功的語言模型；并根據HMM算法處理特征向量，將特征向量匹配到語言模型中，生成相應的文本信息；

步驟S3包括如下步驟：

S301、通過圖像預處理子模塊采用灰度轉化、中值濾波和直方圖均衡化對視頻數據進行處理；

S302、通過目標檢測子模塊預先設定分隔閾值，并根據幀間差分法處理視頻數據，對視頻數據中相鄰兩幀圖像的像素點灰度值進行差運算，若差值的絕對值大于分隔閾值，則提取出圖像中的人手區域；目標檢測子模塊還用于對人手區域采用二值化處理，生成第一窗口信息；

S303、通過肢體語言判斷子模塊根據目標跟蹤算法處理第一窗口信息，生成以胳膊肘作為原點、前臂作為縱軸、后臂作為橫軸的二維坐標系；并將前臂與后臂垂直時，前臂的區域劃定為第一窗口信息的中間區域；當前臂向左右擺動離開中間區域時，判斷為否定語義信息；

步驟S3還包括如下步驟：

S304、通過目標檢測子模塊根據輪廓特征提取圖像中用戶的頭部區域，生成第二窗口信息，其中第二窗口信息中還包括用戶的面部五官；

S305、通過肢體語言判斷子模塊以面部五官作為參照對象，并判斷相鄰兩幀圖像中參照對象的相對位置信息，如果相對位置信息為縱向變化，則判定為肯定語義信息，反之，如果相對位置信息為橫向變化，判定為否定語義信息；

還包括自糾正步驟，提取出文本信息中連續出現的特征向量，若其中一個特征向量與其余特征向量的長度和方向不同，則提取并處理該特征向量發生節點的視頻數據，得到肢體語言信息；如果肢體語言信息和文本信息不符，則生成提示信息。