[發明專利]臉部影像重建方法與系統

有效

• 申請號: 202010106102.7
• 申請日: 2020-02-20
• 公開（公告）號: CN112784660B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 葉書豪;孫際恬
• 申請（專利權）人: 財團法人工業技術研究院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 吳夢圓

1.一種臉部影像重建方法，包括：

對于從儲存裝置讀出的熱像人臉影像進行預處理以得到預處理后熱像人臉影像，并定位出在該預處理后熱像人臉影像中的人臉區域；

將該預處理后熱像人臉影像輸入至卷積編碼器，以對該預處理后熱像人臉影像進行下采樣，來擷取出第一三維特征向量；

將該預處理后熱像人臉影像輸入到預訓練熱成像人臉辨識模型，以擷取出一維特征向量；

對該卷積編碼器所擷取出的該三維特征向量與該預訓練熱成像人臉辨識模型所擷取出的該一維特征向量進行特征融合，以得到第二三維特征向量；

由卷積解碼器對該第二三維特征向量進行上采樣解碼，以得到與該熱像人臉影像相同大小的重建可見光人臉影像，該重建可見光人臉影像儲存于該儲存裝置內；

將真實可見光人臉影像與該重建可見光人臉影像輸入到預訓練可見光人臉辨識模型，以得到第一特征向量、第二特征向量、第三特征向量與第四特征向量，其中，該第一特征向量與該第二特征向量用以得到身份損失，該第三特征向量與該第四特征向量用以得到內容損失；

將該真實可見光人臉影像與該重建可見光人臉影像輸入到預訓練人臉特征點檢測模型，以得到第一與第二人臉特征點模型，該第一與該第二人臉特征點模型用以得到人臉特征點損失；以及

根據該身份損失、該內容損失與該人臉特征點損失來得到一混合式損失函數，該混合式損失函數用于調整該卷積編碼器及該卷積解碼器。

2.根據權利要求1所述的臉部影像重建方法，其中，在進行預處理時，將該人臉區域縮放到既定尺寸。

3.根據權利要求1所述的臉部影像重建方法，其中，在進行特征融合時，將該一維特征向量多次復制以得到第三三維特征向量，并將該第三三維特征向量合并到該第一三維特征向量，以得到該第二三維特征向量。

4.根據權利要求1所述的臉部影像重建方法，其中，利用身份損失函數來計算該第一特征向量與該第二特征向量的余弦距離，以得到該身份損失。

5.根據權利要求1所述的臉部影像重建方法，其中，利用內容損失函數來計算該第三特征向量與該第四特征向量之間的第一歐基里德距離，以得到該內容損失。

6.根據權利要求1所述的臉部影像重建方法，其中，將該第一與該第二人臉特征點模型輸入至人臉特征點損失函數，來計算該第一與該第二人臉特征點模型之間的第二歐基里德距離，以得到該人臉特征點損失。

7.根據權利要求1所述的臉部影像重建方法，其中，該身份損失、該內容損失與該人臉特征點損失分別結合第一參數權重、第二參數權重與第三參數權重，來作為該混合式損失函數，其中，該第一參數權重、該第二參數權重與該第三參數權重是可調整的，且總和為1。

8.根據權利要求1所述的臉部影像重建方法，其中，通過一倒傳遞來調整該第一參數權重、該第二參數權重與該第三參數權重。