[發明專利]視頻圖像的處理方法、裝置和終端設備

在審

• 申請號: 201610697472.6
• 申請日: 2016-08-19
• 公開（公告）號: CN107341434A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 欒青;張偉
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京金律言科知識產權代理事務所(普通合伙)11461
• 代理人: 羅延紅,金丹

1.一種視頻圖像的處理方法，其特征在于，所述方法包括：

對當前播放的包含人臉信息的視頻圖像進行人臉的面部表情檢測；

當確定檢測到的面部表情與對應的預定面部表情相匹配時，確定待展現的業務對象在所述視頻圖像中的展現位置；

在所述展現位置采用計算機繪圖方式繪制所述業務對象。

2.根據權利要求1所述的方法，其特征在于，所述對當前播放的包含人臉信息的視頻圖像進行人臉的面部表情檢測，包括：

基于所述視頻圖像中的人臉信息，使用預先訓練的、用于檢測圖像中人臉屬性的第一卷積網絡模型，對所述視頻圖像進行人臉的面部表情檢測。

3.根據權利要求2所述的方法，其特征在于，對所述第一卷積網絡模型進行預先訓練，包括：

獲取多張包括人臉信息的樣本圖像作為訓練樣本，其中，所述樣本圖像包含被標注的人臉屬性的信息；

對所述人臉屬性中具有大小順序特征的屬性進行編碼；

將編碼后的屬性作為訓練所述第一卷積網絡模型的監督信息，使用所述訓練樣本對所述第一卷積網絡模型進行訓練，得到用于檢測圖像中人臉屬性的第一卷積網絡模型。

4.根據權利要求3所述的方法，其特征在于，獲取多張包括人臉信息的樣本圖像作為訓練樣本，包括：

獲取多張包括人臉信息的樣本圖像；

對每張所述樣本圖像，檢測樣本圖像中的人臉和人臉關鍵點，通過所述人臉關鍵點將樣本圖像中的人臉進行定位，得到人臉定位信息；

將包含所述人臉定位信息的所述樣本圖像作為訓練樣本。

5.根據權利要求1-4任一所述的方法，其特征在于，所述確定待展現的業務對象在所述視頻圖像中的展現位置，包括：

提取與檢測到的面部表情相應的人臉區域內人臉屬性的特征點；

根據所述人臉屬性的特征點，確定所述待展現的業務對象在所述視頻圖像中的展現位置。

6.根據權利要求5所述的方法，其特征在于，所述根據所述人臉屬性的特征點，確定所述待展現的業務對象在所述視頻圖像中的展現位置，包括：

根據所述人臉屬性的特征點，使用預先訓練的、用于確定業務對象在視頻圖像中的展現位置的第二卷積網絡模型，確定所述待展現的業務對象在所述視頻圖像中的展現位置。

7.根據權利要求6所述的方法，其特征在于，對所述第二卷積網絡模型的預先訓練，包括：

獲取訓練樣本的樣本圖像的特征向量，其中，所述特征向量中包含有所述樣本圖像中的業務對象的位置信息和/或置信度信息，以及樣本圖像中人臉屬性對應的人臉特征向量；

對所述特征向量進行卷積處理，獲取特征向量卷積結果；

判斷所述特征向量卷積結果中對應的業務對象的位置信息和/或置信度信息是否滿足業務對象收斂條件，并判斷所述特征向量卷積結果中對應的人臉特征向量是否滿足人臉收斂條件；

若都滿足，則完成對所述第二卷積網絡模型的訓練；

否則，調整第二卷積網絡模型的網絡參數并根據調整后的第二卷積網絡模型的網絡參數對第二卷積網絡模型進行迭代訓練，直至迭代訓練后的業務對象的位置信息和/或置信度信息以及所述人臉特征向量均滿足相應的收斂條件。

8.根據權利要求5-7任一所述的方法，其特征在于，所述根據所述人臉屬性的特征點，確定所述待展現的業務對象在所述視頻圖像中的展現位置，包括：

根據所述人臉屬性的特征點和所述待展現的業務對象的類型，確定待展現的業務對象在所述視頻圖像中的展現位置。

9.一種視頻圖像的處理裝置，其特征在于，所述裝置包括：

視頻圖像檢測模塊，用于對當前播放的包含人臉信息的視頻圖像進行人臉的面部表情檢測；

展現位置確定模塊，用于當確定檢測到的面部表情與對應的預定面部表情相匹配時，確定待展現的業務對象在所述視頻圖像中的展現位置；

業務對象繪制模塊，用于在所述展現位置采用計算機繪圖方式繪制所述業務對象。

10.一種終端設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1至8任一項所述的視頻圖像的處理方法對應的操作。