[發明專利]基于Kinect的點歌方法

在審

• 申請號: 201410705518.5
• 申請日: 2014-11-27
• 公開（公告）號: CN104461524A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 關沫;梁夢雪
• 申請（專利權）人: 沈陽工業大學
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F3/01
• 代理公司: 沈陽智龍專利事務所(普通合伙) 21115
• 代理人: 宋鐵軍;周智博

1.一種基于Kinect的點歌方法，其特征在于：該方法通過顯示屏、Kinect設備和電腦實現，電腦為可拆卸式筆記本電腦或者普通電腦；所述Kinect設備用于捕捉語音信息和手勢指令完成無接觸式點歌，憑借Kinect攝像頭獲取用戶的圖像，通過Kinect的語音識別功能獲取用戶的語音信息，將用戶的圖像和語音信息通過USB數據線傳送給具有信息處理功能的計算機即電腦，最后對接收的圖像及語音信息進行處理得到相應的手勢控制指令和語音控制指令實現點歌操作。這里的電腦還能以傳統的方式進行手動點歌，當電腦選用可拆卸式筆記本電腦時，它的顯示屏能拆卸下來，進而能夠充當平板使用，可以在座位上人與人之間相互傳遞著使用進行點歌。?

2.根據權利要求1所述的基于Kinect的點歌方法，其特征在于：該方法包括以下步驟:?

1)將上述的硬件設備連接良好，將Kinect設備接入電腦系統，啟動設備之后，完成對用戶手勢的識別跟蹤和語音識別；?

2)本發明的無接觸式點歌方法部分主要以手勢識別和語音識別的方法實現的，手勢識別部分，根據Kinect攝像頭獲取的用戶圖像，通過信息處理裝置即主機電腦，處理用戶的手勢指令，將處理后的信息反映在顯示屏上，語音識別部分，首先捕獲指定的單個用戶發出的語音信息，然后將得到的語音信息在電腦信息處理裝置中進行處理，最后把用戶發送的語音指令結果反應在顯示屏上；?

3)本發明還包括傳統的手動點歌方式，通過電腦鍵盤直接輸入進行點歌，或者可以直接把可拆卸式筆記本電腦的觸摸屏部分卸下來進行點歌。?

3.根據權利要求2所述的基于Kinect的點歌方法，其特征在于：?

所述步驟2)中所述的手勢識別部分通過Kinect攝像頭采集用戶手掌的深度信息圖像，進而提取出手掌部分，除去其它無用的深度信息，有效地定位掌心并跟蹤手掌，把掌心作為圓的圓心，以一定的半徑展開得到一個最大的內?切圓作為手掌區域，由于手掌中深度坐標均相同，所以手掌的點坐標可以通過平面坐標表示出；Q₁(x₁，y₁)，Q₂(x₂，y₂)兩點之間的距離計算公式為：?。

4.根據權利要求2所述的基于Kinect的點歌方法，其特征在于：所述步驟2)中，通過濾波方式，對獲取的圖像進行識別和目標軌跡的判定，從而快速的確定出掌心位置；式C_r＝(R_q,P_q)中C_r表示包含手掌區域的圓，R_q表示圓心即掌心，P_q是圓的半徑；通過跟蹤手掌完成相應的手勢識別操作。?

5.根據權利要求4所述的基于Kinect的點歌方法，其特征在于：伸出手掌在胸前平面內同一水平高度處左右反復快速的搖手表示啟動Kinect設備準備進入點歌系統；伸出手掌在胸前平面內同一水平高度處手掌變換為拳頭表示關機；伸出手掌在胸前平面內同一水平高度處從左到右平移一段距離表示翻到上一頁；同理從右到左表示翻到下一頁。亦或從下到上平移表示下一頁，從上到下表示上一頁，有關的一系列手勢設定均可結合日常習慣去設定，另外，用戶需處于Kinect設備可視范圍內進行操作，Kinect的可視范圍為水平視角范圍小于57度、垂直視角范圍小于43度、傳感深度范圍在1.2米到3.5米之間，所以用戶操作時務必要在規定的這個范圍內才能捕獲到完整的信息。?

6.根據權利要求2所述的基于Kinect的點歌方法，其特征在于：所述步驟2)中，語音識別部分通過Kinect麥克風陣列獲取音頻數據流，首先，通過對用戶的語音指令進行特征提取，為了能夠完成預想的那些音頻指令，還需為這些音頻建立一個音頻數據庫，對語音信息進行采樣，從而生成相應的特征矢量，然后，將提取的語音指令與已有的語音模式進行匹配，把匹配度最高的結果作為最后的結果，最后，將匹配出的結果轉化為指定的指令反饋在顯示屏上，Kinect麥克風陣列可通過音頻增強效果算法的處理來屏蔽環境中的噪聲，即使在一個面積很大的空間環境中，用戶距離麥克風有較遠的距離，還是能夠很好地對語音進行識別，Kinect設備采用的陣列技術包含有效的噪聲消除和回波抑制算法，與此同時采用波束成形技術，通過每個獨立設備的響應時間確?定音源位置，并盡可能避免環境噪聲的影響。?