[發明專利]基于移動云臺的三維人臉跟蹤及表情識別系統

在審

• 申請號: 201611267241.8
• 申請日: 2016-12-31
• 公開（公告）號: CN108268825A
• 公開（公告）日: 2018-07-10
• 發明（設計）人: 鐘鴻飛;覃爭鳴;楊旭
• 申請（專利權）人: 廣州映博智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G05D3/12
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于移動云臺的三維人臉跟蹤及表情識別系統，系統包括：數據采集模塊、電機伺服控制系統和軟件功能模塊。所述數據采集模塊包括兩個攝像頭、圖像采集卡；所述電機伺服控制系統包括兩個二自由度的舵機云臺、步進電機、運動控制卡；所述軟件功能模塊包括圖像預處理模塊、人臉檢測模塊、人臉跟蹤模塊、表情識別模塊、云臺控制模塊。本發明方案采用兩個攝像頭捕獲左右圖像，使用人臉檢測、特征匹配實現對人臉區域的三維世界坐標準確定位，從而計算出云臺舵機需要移動的角度，保證了全方位無死角的人臉跟蹤和表情識別。

技術領域

本發明涉及人機交互領域，具體涉及一種基于移動云臺的三維人臉跟蹤及表情識別系統。

背景技術

人臉表情不僅在人與人的交流中發揮著重要的作用，而且是使計算機能夠更準確地理解人類表情所表達的意圖，實現人機交互的一個重要研究內容。

現有的人臉跟蹤及表情識別系統大多是針對固定攝像頭的視頻，使用人臉檢測技術和表情識別技術進行人臉跟蹤和識別，然而這種類型的系統受限于攝像頭的角度和位置，無法獲取到正面的人臉表情圖像或視頻，從而導致識別錯誤。此外，人臉檢測系統往往采用單攝像頭進行跟蹤，單攝像頭難以實現人臉區域的三維位置定位，只能在二維平面內實現定位，對于遠處走來的人往往容易丟失跟蹤區域。

發明內容

本發明目的在于克服現有技術的不足，尤其解決現有人臉跟蹤及表情識別系統中，受限于攝像頭的角度和位置，無法獲取到正面的人臉表情圖像或視頻，從而導致識別錯誤；以及采用單攝像頭進行跟蹤，單攝像頭難以實現人臉區域的三維位置定位，只能在二維平面內實現定位，對于遠處走來的人往往容易丟失跟蹤區域的問題。

為解決上述技術問題，本發明提出一種基于移動云臺的三維人臉跟蹤及表情識別系統，系統包括：數據采集模塊、電機伺服控制系統和軟件功能模塊，其中：

所述數據采集模塊包括兩個攝像頭、圖像采集卡；所述攝像頭連接于圖像采集卡，用于捕獲行人視頻；所述圖像采集卡用于發送指令至攝像頭，用于開啟、關閉攝像頭以及設置攝像頭參數，并將捕獲視頻傳輸至軟件功能模塊；

所述電機伺服控制系統包括兩個二自由度的舵機云臺、步進電機、運動控制卡；所述舵機云臺連接于步進電機，用于實現攝像頭的旋轉；所述攝像頭位于舵機云臺上；所述步進電機連接于運動控制卡，所述運動控制卡連接于軟件功能模塊，用于控制步進電機動作從而實現云臺運動；

所述軟件功能模塊包括圖像預處理模塊、人臉檢測模塊、人臉跟蹤模塊、表情識別模塊、云臺控制模塊；所述圖像預處理模塊接收來自數據采集模塊的視頻數據，經過處理后發送至人臉檢測模塊；所述人臉檢測模塊使用注意力選擇算法快速檢測人臉，并將人臉區域發送至人臉跟蹤模塊和表情識別模塊；所述表情識別模塊使用分類器對人臉區域的表情特征進行分類，得到表情類別；所述人臉跟蹤模塊使用特征匹配方法計算左右攝像頭圖像的視差，計算出人臉的三維坐標，將人臉區域始終定位到左圖像的中心，從而計算得到云臺需要轉動的角度，實現人臉區域的跟蹤。

進一步地，所述左側攝像頭位于左側舵機云臺上，右側攝像頭位于右側舵機云臺上；

進一步地，所述圖像預處理模塊包括：圖像灰度化、圖像均衡化、圖像二值化操作；

進一步地，所述人臉跟蹤模塊，使用SIFT特征計算左右攝像頭圖像的視差。

本發明與現有技術相比具有以下的有益效果：

本發明方案采用兩個攝像頭捕獲左右圖像，使用人臉檢測、特征匹配實現對人臉區域的三維世界坐標準確定位，從而計算出云臺舵機需要移動的角度，保證了全方位無死角的人臉跟蹤和表情識別。

附圖說明

圖1為本發明基于移動云臺的三維人臉跟蹤及表情識別系統的一個實施例的結構圖。

圖2為本發明實施例的云臺運動角度的示意圖。