[發(fā)明專利]面向殘疾人士的手勢便利控制系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011101541.5
• 申請日: 2020-10-15
• 公開（公告）號: CN112232192A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設計）人: 張暉;滕婷婷;趙海濤;孫雁飛;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06F3/01
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發(fā)明提出了面向殘疾人士的手勢便利控制系統(tǒng)。屬于智能家居領域；由圖像采集模塊、手勢識別模塊、手勢控制模塊和指令設定模塊組成；所述圖像采集模塊采用Kinect傳感器獲取殘疾人士的手勢圖像信息，圖像采集模塊輸出端與手勢識別模塊輸入端連接，所述的手勢識別模塊用于對獲取的手勢圖像信息中的人物手勢進行識別，其輸出端與手勢控制模塊連接，所述的手勢控制模塊用于對家居內的電氣設備進行控制，其通過局域網與指令設定模塊連接，所述的指令設定模塊用于對獲取的手勢圖像信息中的人物手勢與電氣設備建立對應的指令關系。本發(fā)明可以智能地識別用戶的手勢，控制家居內的電氣設備地運行，給用戶帶來舒適安全的享受，有非常廣闊的應用場景。

技術領域

本發(fā)明涉及智能家居領域，具體涉及一種面向殘疾人士的手勢便利控制系統(tǒng)。

背景技術

近年來，由各種各樣的災難和殘病造成的殘障人士逐漸增加，如何利用現(xiàn)代信息技術擴大殘疾人的生活空間，提高他們的生活質量，給他們帶來舒適的生活環(huán)境成為近幾年來國際學術界和企業(yè)界關注的熱點問題，也是政府十分關注的焦點。在家居場景下通過識別用戶手勢，達到控制家居電氣設備的效果，用戶僅僅使用簡單的手勢就能控制燈光、空調、電視等設備的運行，為他們提供更多的方便和自由。

而在家居場景下由于用戶手勢存在復雜性與多變性，易受背景、光照(尤其是日間與夜間圖像的差別)與拍攝角度等因素的影響，導致實時手勢識別更為復雜。并且當今市場上，具有手勢識別功能的智能家居設備還較為少見，且存在小樣本的問題。

發(fā)明內容

針對上述問題，本發(fā)明提供了一種面向智殘疾人士的手勢便利控制系統(tǒng)，可以智能地識別用戶的手勢，控制家居內的電氣設備地運行。該系統(tǒng)由圖像采集模塊、手勢識別模塊、手勢控制模塊和指令設定模塊組成，所述圖像采集模塊采用Kinect傳感器獲取殘疾人士的手勢圖像信息，圖像采集模塊輸出端與手勢識別模塊輸入端連接，所述的手勢識別模塊中設計了一個結合二次遷移學習的卷積神經網絡(STL-CNN)模型對圖像中的人物手勢進行識別，解決了日間與夜間手勢圖像識別以及小樣本的問題，其輸出端與手勢控制模塊連接，所述的手勢控制模塊用于對家居內的電氣設備進行控制，其通過局域網與指令設定模塊連接，所述的指令設定模塊用于對獲取的手勢圖像信息中的人物手勢與電氣設備建立對應的指令關系。

本發(fā)明的技術方案是：面向殘疾人士的手勢便利控制系統(tǒng)，包括通過無線信號相互連接的圖像采集模塊、手勢識別模塊、手勢控制模塊及指令設定模塊；

所述圖像采集模塊的輸出端與手勢識別模塊的輸入端相連接，所述手勢識別模塊的輸出端與手勢控制模塊的輸入端相連接，所述手勢控制模塊的輸出端通過局域網與指令設定模塊的輸出端相連接。

進一步的，所述圖像采集模塊利用Kinect傳感器的深度信息獲取殘疾人士的手勢圖像信息。

進一步的，所述手勢識別模塊用于對獲取的手勢圖像信息中的人物手勢進行識別；其具體操作步驟如下：

步驟(1)、對獲取到的手勢圖像進行預處理，將圖像從RGB顏色空間轉換到YCbCr顏色空間，再通過全局固定閾值二值化法對圖像進行膚色分割，得到二值化圖像；

步驟(2)、對得到的二值化圖像采用RCE神經網絡進行手部區(qū)域分割；

步驟(3)、針對得到的手部區(qū)域，設計一個結合二次遷移學習的卷積神經網絡模型進行手勢識別。

進一步的，所述手勢控制模塊安置在家居電氣設備中，通過獲取家居電氣設備的信息和實現(xiàn)對家居電氣設備的控制。

進一步的，所述指令設定模塊用于對獲取的手勢圖像信息中的人物手勢與家居電氣設備建立對應的指令關系，并把指令通過局域網發(fā)送給手勢控制模塊。