[發明專利]一種基于雙目視覺的攝像投影交互系統及方法

在審

• 申請號: 201710692648.3
• 申請日: 2017-08-14
• 公開（公告）號: CN107481267A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 謝巍;何伶珍;張浪文;周忠太
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/254
• 分類號: G06T7/254;G06T7/215;G06T7/277;G06T5/00;G06K9/62;G06K9/00;G06F3/0487;G06F3/01
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 王東東

技術領域

本發明涉及圖像處理領域，具體涉及一種基于雙目視覺的攝像投影交互系 統及方法。

背景技術

隨著圖像處理技術、計算機視覺算法等的日益成熟，基于不同應用場景的 投影交互系統研究與應用正當蓬勃發展。2010年，張正友、高睿等人設計一套 基于投影儀攝像并應用于移動電子設備的人機交互系統，實現了對3D交互投影 面的自由切換。該系統主要是利用目標物對平行光的反射信息，并結合高速攝 像機記錄場景中目標物的深度數據，以實現目標的檢測，其精確度可達1～2cm。 該系統使用的高速攝像機對場景的物體進行采樣，它的造價高昂且精確度無法 達到毫米級，因此該方案的性價比較低，不利于產品化。2012年，意大利的Hiroki Goto等人提出利用手部膚色分別在HSV和YCbCr空間下的顏色聚類特性進行 前景手勢和復雜背景的分離。同時，他使用了幀差法消除背景，并對交互手勢 運動的頻率進行學習，輔助去除復雜背景的干擾。最后，在上述的基礎上結合 模板匹配法識別指尖，實現用戶與投影場景之間的互動效果。然而，該系統所 識別的對象為用戶手部在投影光線下的陰影區域。而陰影區域對比度的強弱， 直接影響了圖像算法對其識別的準確度。在對比度較弱的情況下，算法難以分 辨陰影區域和投影背景區域。

發明內容

為了克服現有技術存在的缺點與不足，本發明提供一種基于雙目視覺的攝 像投影交互系統及方法。

首先，基于Vibe結合陰影去除算法準確分割投影區域內的運動目標，同時， 每個攝像頭的鏡頭添加紅外濾光片以降低背景復雜度；其次，通過在二值圖像 中計算運動目標縱坐標最大的點以定位腳尖點在圖像中的像素坐標；再次，以 腳尖點作為一個矩形上底邊的中點，在二值圖像中從該點向左及向右取相等的 若干長度作為矩形的上底邊，并以一個固定長度作為矩形的寬，計算該矩形區 域的模板特征參數，并使用模式識別方法中的最小錯誤率貝葉斯分類器識別運 動目標；最后，將腳尖點在圖像中的像素坐標利用本發明設計的坐標映射方法 映射到PC機的鼠標坐標，并調用鼠標API，從而實現對鼠標事件的控制，達到 用戶與系統交互的目的。

本發明采用如下技術方案：

一種基于雙目視覺的攝像投影交互系統，包括投影儀、兩個USB攝像頭， PC機及一塊墊子，所述投影儀與PC機連接，將PC機的屏幕圖像投影在墊子上， 所述墊子在USB攝像頭的視場內，所述兩個USB攝像頭并排設置在相機架上， 所述PC機分別與兩個USB攝像頭連接，所述兩個USB攝像頭添加紅外濾光片。

所述紅外濾光片為直徑11mm且厚度為1mm的850nm紅外濾光片。

一種基于雙目視覺的攝像投影交互系統的方法，包括如下步驟：

S1USB攝像頭采集包含腳部的墊子圖像作為待檢測圖像；

S2對圖像進行畸變矯正及立體校正，得到校正后的圖像；

S3對校正后的圖像進行運動目標前景分割，得到去除陰影后的運動目標圖 像；

S4在分割后的二值圖像上，進行腳尖點定位，得到腳尖點的坐標；

S5利用上一步得到的腳尖點坐標向周圍做一個矩形，然后進行腳尖模板特 征提取及目標識別；

S6腳尖動作識別，所述腳尖動作包括抬起與放下；

S7將識別后的腳尖位置映射到PC機上，調用鼠標API，實現相應的功能。

所述S3對校正后的圖像進行運動目標前景分割，具體為：

S3.1基于Vibe算法分割運動目標；

S3.2去除運動目標的陰影，具體為：

S3.2.1基于色度的方法從Vibe檢測到的前景像素中選取可能得到的陰影 像素，記陰影像素集合為：

SPC＝{p₁,p₂,…,p_n}；

其中，SP_(x,y)＝1的像素被認為是陰影像素，分別表示像素p 在H,S,V3個空間中的值，表示背景像素在H,S,V3個空間中的 值，α,β,τ_s,τ_H表示根據實際設定的閾值，SPC表示陰影像素集合，SP表示陰 影像素；n為基于色度的方法取出圖像中所有可能的陰影像素；

S3.2.2基于區域連通原理，將SPC分為不同的連通區域塊，記為連通區域 塊集合CB＝{cb₁,cb₂,…cb_n}；