[發明專利]注視度判斷裝置及方法

有效

• 申請號: 201910095688.9
• 申請日: 2019-01-31
• 公開（公告）號: CN111488775B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 陳弘恩;卓韋佑;邱璟明;許聿靈;張曉珍
• 申請（專利權）人: 財團法人資訊工業策進會
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/18;G06V10/44;G06V10/82;G06N3/0464;G06N3/0475
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 湯在彥

一種注視度判斷裝置及方法。該裝置包含存儲器，存儲注視度判斷模型；影像擷取器，用以擷取一影像；處理器，電性連接至該存儲器及該影像擷取器，且執行下列運作：分析該影像，以產生多個臉部三軸定位值及多個臉部標記識別點；從該等臉部標記識別點取得多個特定標記識別點以產生熱區圖，將該熱區圖與一標準熱區圖比對以產生影像補償值；基于該影像及該影像補償值來執行臉部校正處理，以產生虛擬校正影像；分析該虛擬校正影像，以取得瞳孔位移值；以及根據該注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，判斷一使用者的注視度。

技術領域

本發明關于一種注視度判斷裝置及方法。具體而言，本發明關于一種經由辨識影像以判斷影像中一人員注視度的裝置及方法。

背景技術

隨著科技的快速發展，影像處理技術已逐漸地應用于各種攝像裝置(例如：監控工廠操作員使用操作面板的攝影裝置、賣場貨架周圍的一般攝影裝置)，并因此達到依據目標使用者目光所在的位置，而提供各式相關的信息、服務、推銷或是輔助(例如：工廠操作員所注視的操作按鈕信息、客戶注視貨架上產品的相關信息)。

習知的注視度追蹤技術主要有兩種，第一種是由使用者配戴特殊的眼鏡，眼鏡上具有可偵測追蹤使用者瞳孔移動的傳感器，再結合商場的其他傳感器或定位器，以判斷使用者的注視目標。然而，由于需要使用者配戴額外的硬件且設置額外的傳感器，在使用上并不便利且造成布建成本提升，因而無法有效地應用在一般工廠或是賣場中。

習知的第二種注視度追蹤技術主要是拍攝使用者的臉部影像，解析影像取得眼睛位置再進一步取得瞳孔位置，然后在不同時間點影像中來追蹤瞳孔位移及方向，來判斷使用者的注視方向。此類技術需要事先精準地對瞳孔定位，后續才能正確地追蹤瞳孔的位移和方向以判斷使用者的注視度，通常影像必須具有一定清晰度，才能提高判斷的精準度，所以拍攝影像的距離不能太遠，通常是在計算機屏幕上安裝攝影機進行拍攝。使用者在使用時需要經由使用接口進行繁雜的定位流程，將臉部及五官于使用接口的預設區域進行定位和校正偵測(例如：需在特定焦距內方符合預設的五官大小)，相當費時且使用不便。此外，由于習知的技術在做影像解析取得臉部影像時僅考慮正臉的情形(即，預設人臉的角度是固定的)，而未考慮人臉偏移、轉向、側臉時的角度，因而可能造成明顯的誤差，且由于需要清晰的臉部影像，使得此類的技術限制在近距離(例如：使用者與攝影機距離在30至45公分之間)的偵測，因此仍然無法有效的運用在商場、工廠或其他環境中。

有鑒于此，如何有效率且精準的判斷人員的注視度，而不需要增加額外的硬件建置成本以及繁雜的瞳孔定位，乃業界亟需努力的目標。

發明內容

本發明的一目的在于提供一種注視度判斷裝置。該裝置包含一存儲器、一影像擷取器及一處理器，該處理器電性連接至該存儲器及該影像擷取器。該存儲器存儲一注視度判斷模型。該影像擷取器，用以擷取一影像。該處理器分析該影像，以產生多個臉部三軸定位值及多個臉部標記(landmark)識別點。該處理器從該等臉部標記識別點取得多個特定標記識別點，以產生一熱區圖(heatmap)，將該熱區圖與一標準熱區圖比對以產生一影像補償值，其中該影像補償值指示一臉部位移量。該處理器基于該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像。該處理器分析該虛擬校正影像，以取得一瞳孔位移值。該處理器根據該注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，計算一注視度。

本發明的另一目的在于提供一種注視度判斷方法，適用于一注視度判斷裝置。該注視度判斷裝置包含一存儲器、一影像擷取器及一處理器。該存儲器存儲一注視度判斷模型，該影像擷取器用以擷取一影像。該注視度判斷方法由該處理器所執行，且包含下列步驟：(a)分析該影像，以產生多個臉部三軸定位值及多個臉部標記識別點，(b)從該等臉部標記識別點取得多個特定標記識別點以產生一熱區圖，將該熱區圖與一標準熱區圖比對，以產生一影像補償值，其中該影像補償值指示一臉部位移量，(c)基于該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像，(d)分析該虛擬校正影像，以取得一瞳孔位移值，以及(e)根據該注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，計算一注視度。