[發明專利]圖像處理裝置、圖像處理方法和機器可讀存儲介質

在審

• 申請號: 202010948016.0
• 申請日: 2020-09-10
• 公開（公告）號: CN114170643A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 石自強;林慧鑌;劉柳;劉汝杰;宓曉宇;村瀨健太郎
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 唐京橋;姜婷

本公開涉及一種圖像處理裝置、圖像處理方法和機器可讀存儲介質。圖像處理裝置包括：信息獲取單元，其將輸入的圖像劃分為多個區域，并且獲取關于多個區域中的面部動作單元的信息；動作單元特征提取單元，其基于所獲取的關于面部動作單元的信息來對面部動作單元的區域提取動作單元特征；全局面部特征提取單元，其基于所獲取的關于面部動作單元的信息提取全局面部特征；以及分類單元，其基于動作單元特征和全局面部特征兩者來對面部動作單元進行分類。該圖像處理裝置可以通過檢測與面部的每個局部區域相對應的面部動作單元的出現來識別微表情。

技術領域

本公開涉及圖像處理的技術領域，具體地涉及用于微面部表情識別的圖像處理裝置、圖像處理方法和機器可讀存儲介質。

背景技術

這個部分提供了與本公開有關的背景信息，這不一定是現有技術。

面部在每時每刻都承載著有關我們的心理和情緒狀態的大量信息。因此，可以基于微面部表情識別來量化精神狀態。微面部表情識別在現實生活中具有許多應用。例如，可以通過關心員工的心理并改善他們的動機來提高勞動生產率，或者可以估計客戶的滿意度并改善他們的購買動機(數字營銷)，或者可以用于估計司機開車狀態等。

可見，開發一種有效識別微面部表情的裝置具有重要意義。

發明內容

這個部分提供了本公開的一般概要，而不是其全部范圍或其全部特征的全面披露。

本公開的目的在于提供一種基于對動作單元的出現的檢測來進行微面部表情識別的圖像處理裝置、圖像處理方法和機器可讀存儲介質。

根據本公開的一方面，提供了一種圖像處理裝置，包括：信息獲取單元，其將輸入的圖像劃分為多個區域，并且獲取關于多個區域中的面部動作單元的信息；動作單元特征提取單元，其基于所獲取的關于面部動作單元的信息來對面部動作單元的區域提取動作單元特征；全局面部特征提取單元，其基于所獲取的關于面部動作單元的信息提取全局面部特征；以及分類單元，其基于動作單元特征和全局面部特征兩者來對面部動作單元進行分類。

根據本公開的另一方面，提供了一種圖像處理方法，包括：將輸入的圖像劃分為多個區域，并且獲取關于多個區域中的面部動作單元的信息；基于所獲取的關于面部動作單元的信息來對面部動作單元的區域提取動作單元特征；基于所獲取的關于面部動作單元的信息提取全局面部特征；以及基于動作單元特征和全局面部特征兩者來對面部動作單元進行分類。

根據本公開的另一方面，提供了一種機器可讀存儲介質，其上攜帶有包括存儲在其中的機器可讀指令代碼的程序產品，其中，所述指令代碼當由計算機讀取和執行時，能夠使所述計算機執行根據本公開的圖像處理方法。

使用根據本公開的圖像處理裝置、圖像處理方法和機器可讀存儲介質，可以通過檢測與面部的每個局部區域相對應的面部動作單元(AU)的出現來識別微表情。

從在此提供的描述中，進一步的適用性區域將會變得明顯。這個概要中的描述和特定例子只是為了示意的目的，而不旨在限制本公開的范圍。

附圖說明

在此描述的附圖只是為了所選實施例的示意的目的而非全部可能的實施，并且不旨在限制本公開的范圍。在附圖中：

圖1為圖示根據本公開的實施例的圖像處理裝置的結構的框圖；

圖2為圖示根據本公開的實施例的圖像處理裝置中的信息獲取單元的結構的框圖；

圖3為圖示根據本公開的實施例的圖像處理裝置中的動作單元特征提取單元的結構的框圖；

圖4為圖示根據本公開的實施例的圖像處理裝置中的全局面部特征提取單元的結構的框圖；

圖5為圖示根據本公開的另一實施例的圖像處理裝置的結構的框圖；