[發明專利]人臉表情的捕捉方法、裝置及存儲裝置

在審

• 申請號: 201710407288.8
• 申請日: 2017-06-02
• 公開（公告）號: CN107368778A
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 黃源浩;肖振中;許宏淮
• 申請（專利權）人: 深圳奧比中光科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙)44280
• 代理人: 何青瓦

技術領域

本發明涉及RGBD圖像處理技術領域，特別是涉及一種人臉表情的捕捉方法、裝置及存儲裝置。

背景技術

RGBD圖像由RGBD相機拍攝場景而獲得，是指深度信息與彩色信息融合的圖像，每個圖像元素均具有相關聯的顏色值和相關聯的深度值，該深度值表示從圖像傳感器到場景中的物體表面的距離。

表情是情緒和情感的外部表現，按基本情緒模型可將表情分為六類：生氣、厭惡、恐懼、高興、悲傷、驚訝。人臉表情識別一直以來都具非常重要的研究意義，在人機交互、公共安全、智能影視等多個領域有著巨大的市場價值。

對現有技術的研究和實踐過程中，本發明的發明人發現僅從RGB圖像中獲取的人臉表情信息并不能全面、準確地反應出人臉的真實表情。

發明內容

本發明提供一種人臉表情的捕捉方法、裝置及存儲裝置，能夠解決現有技術存在不能全面、準確反應出人臉的真實表情的問題。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種人臉表情的捕捉方法，該方法包括：獲取包含人臉的RGBD圖像序列，所述RGBD圖像包括RGB圖像和深度圖像，其中，所述RGB圖像和深度圖像的像素一一對應；對所述RGBD圖像進行人臉檢測，以提取出人臉區域的RGBD圖像；從所述人臉區域的RGBD圖像中獲取人臉特征點；標記所述人臉特征點在所述人臉區域的RGBD圖像上的位置；在所述RGBD圖像序列中跟蹤所述人臉特征點的運動軌跡，并記錄運動軌跡信息。

為解決上述技術問題，本發明采用的另一個技術方案是：提供一種人臉表情的捕捉裝置，該裝置包括處理器和RGBD相機，所述RGBD相機與所述處理器連接；所述RGBD相機用于獲取包含人臉的RGBD圖像序列，所述RGBD圖像包括RGB圖像和深度圖像，其中，所述RGB圖像和深度圖像的像素一一對應；所述處理器用于對所述RGBD圖像進行人臉檢測，以提取出人臉區域的RGBD圖像；從所述人臉區域的RGBD圖像中獲取人臉特征點；標記所述人臉特征點在所述人臉區域的RGBD圖像上的位置；在所述RGBD圖像序列中跟蹤所述人臉特征點的運動軌跡，并記錄運動軌跡信息。。

為解決上述技術問題，本發明采用的又一個技術方案是：提供一種存儲裝置，該存儲裝置存儲有程序數據，所述程序數據能夠被執行以實現上述方法。

本發明的有益效果是：區別于現有技術的情況，本發明通過RGBD圖像序列提取人臉特征點并記錄該人臉特征點的運動軌跡，由于RGBD圖像具有像素信息和深度信息，因而該人臉特征點及其運動軌跡信息也能全面地從像素信息和深度信息上反映出來，使得捕捉的表情信息更加全面、準確。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明提供的一種人臉表情的捕捉方法實施例的流程示意圖；

圖2是本發明提供的一種人臉表情的捕捉方法另一實施例的流程示意圖；

圖3是圖2中步驟S25的流程示意圖；

圖4是本發明提供的一種人臉表情的捕捉方法又一實施例的流程示意圖；

圖5是本發明提供的一種人臉表情的捕捉裝置實施例的結構示意圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明的一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護的范圍。

請參閱圖1，圖1是本發明提供的一種人臉表情的捕捉方法實施例的流程示意圖。

圖1所示的人臉表情的捕捉方法包括以下步驟：

S11、獲取包含人臉的RGBD圖像序列，RGBD圖像包括RGB圖像和深度圖像，其中，RGB圖像和深度圖像的像素一一對應。

其中，RGBD圖像序列是指特定時間內連續幀的RGBD圖像，可以由RGBD拍攝設備獲取。

S12、對RGBD圖像進行人臉檢測，以提取出人臉區域的RGBD圖像。

步驟S12中的RGBD圖像可以是步驟S11中RGBD圖像序列中的任一RGBD圖像，例如RGBD圖像序列中的第一個RGBD圖像。人臉區域可以只從其中一個RGBD圖像中提取即可。

S13、從人臉區域的RGBD圖像中獲取人臉特征點。