[發明專利]一種基于攝像頭的人機實時交互方法

在審

• 申請號: 201410253564.6
• 申請日: 2014-06-09
• 公開（公告）號: CN104035560A
• 公開（公告）日: 2014-09-10
• 發明（設計）人: 王朝坤;陳俊
• 申請（專利權）人: 清華大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

技術領域

本發明涉及一種基于攝像頭的人機實時交互方法，屬于人機交互技術領域。

背景技術

隨著人體動作感知技術的快速發展，以及相關產品(設備)的推廣，如Microsoft?Kinect(http://www.microsoft.com/en-us/kinectforwindows)，Wii(http://www.nintendo.com/wiiu)和PlayStation?Move(http://playstationmove.com/index.html)，有越來越多的計算機應用支持通過人的肢體動作來實現對計算機的控制。這些技術和設備使得人們不再受限于傳統的人機交互方式，例如鼠標、鍵盤等，而可以通過更加新穎、有趣的方式進行人機交互。然而，現有的具有人體動作感知功能的設備通常具有以下幾點局限性：(1)功能依賴于設備，人們若想使用動作感知功能，就必須隨身攜帶這些設備等，而這一點降低了設備的便攜性；(2)使用這些設備需要花費額外的費用，因為動作感知技術被固化到設備中，用戶需要購買設備之后才能使用，但并不是所有用戶都愿意或者有能力支付；(3)設備中可使用的應用程序、游戲需要定制，用戶不能使用這些設備來控制他們現有的其它應用程序和游戲，這一點降低了設備的適用范圍。因此，一種更加便攜的、低價甚至免費的、具有“即插即用”特性的動作感知產品就更加具有實用價值。

發明內容

本發明的目的是設計一種基于攝像頭的人機實時交互方法，利用已廣泛配備在個人臺式計算機、筆記本電腦等設備上的攝像頭，通過攝像頭實時捕捉人肢體的動作，以實現實時的人機交互。

本發明提出的基于攝像頭的人機實時交互方法，包括以下步驟：

(1)對參與人機交互的人的頭或手的動作進行識別訓練，得到一組識別參數F；

(2)建立計算機操作與參與人機交互的人的頭或手的動作之間的一一映射關系；

(3)用攝像頭對參與人機交互的人進行拍攝，得到人的頭或手的動作的視頻，根據一定的采樣周期，從視頻中獲取多幀圖片；

(4)根據步驟(1)得到的識別參數F，分別從上述獲取的每一幀圖片中識別出人的頭或手在圖片中的區域信息，該區域信息包括區域在圖片中的二維坐標、長度和寬度；

(5)根據上述識別出的區域在圖片中的長度和寬度，得到該區域的幾何中心點，將該幾何中心點記為錨點，重復本步驟，得到每幀圖片的錨點；

(6)設前一幀圖片的錨點的坐標為(x_i，y_i)，后一幀圖片的錨點的坐標為(x_i+1,y_i+1)，計算得到相鄰兩幀圖片的錨點的位移向量D_i+1，該向量表示人的頭或手的動作的方向和移動的距離，其中i表示圖片的序號，序號i從1開始，第i+1幀圖片即為第i幀圖片的下一幀圖片；

(7)分別計算上述位移向量D_i+1在圖片的二維坐標中與上、下、左、右四個方向的單位向量的四個夾角，將與四個夾角中的最小夾角相對應的方向作為主方向

(8)根據步驟(2)中的計算機操作與參與人機交互的人的頭或手的動作之間的一一映射關系，得到與方向相對應的計算機操作E_i+1；

(9)執行計算機操作E_i+1。

本發明提出的基于攝像頭的人機實時交互方法，其優點在于，本發明的人機實時交互方法，不需要依賴于額外的設備，如Microsoft?Kinect，Wii和PlayStation?Move等，只要利用已廣泛配備在個人臺式計算機、筆記本電腦、平板電腦、手機等產品上的攝像頭，即可通過攝像頭實時的捕捉到人肢體的動作情況，將識別的圖像區域的幾何中心作為錨點，識別出錨點的運動軌跡，并判斷出運動的主方向，然后查找出與該主方向關聯的計算機事件，進而觸發計算機相應的操作，從而實現實時的人機交互。本發明的人機實時交互方法，具有便攜、低價、“即插即用”的特點，可以控制多種計算機應用程序和游戲，而不需要用戶為本方法單獨定制應用程序和游戲。最后，本發明的人機實時交互方法，無需任何額外費用，用戶僅需在有攝像頭的設備上安裝本方法軟件，即可感受全新用戶體驗。

附圖說明

圖1是本發明方法中涉及的位移向量與上、下、左、右四個方向夾角示意圖。

具體實施方式

本發明提出的基于攝像頭的人機實時交互方法，包括以下步驟：