[發明專利]一種圖像處理方法及裝置

在審

• 申請號: 201910139193.1
• 申請日: 2019-02-25
• 公開（公告）號: CN111611827A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 茍巍;沈海峰;姜佳男
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京超成律師事務所 11646
• 代理人: 鄧超

1.一種圖像處理方法，其特征在于，包括：

從多張面部圖像中的每張面部圖像中，獲取唇部區域圖像，得到多張唇部區域圖像；

提取所述多張唇部區域圖像的有效時空特征數據；

基于提取得到的有效時空特征數據，確定所述多張唇部區域圖像對應的唇語內容。

2.根據權利要求1所述的方法，其特征在于，所述從多張面部圖像中的每張面部圖像中，獲取唇部區域圖像，包括：

針對每張面部圖像，獲取該面部圖像的唇部區域中心點，并基于獲取的唇部區域中心點，和圖像預定尺寸，從該面部圖像中提取所述唇部區域圖像。

3.根據權利要求1所述的方法，其特征在于，還包括確定所述多張面部圖像的步驟：

解析獲取的唇語視頻，得到多張原始面部圖像；

基于所述原始面部圖像對應的時間，將所述多張原始面部圖像進行排序；

基于所述原始面部圖像的數量、所要篩選的面部圖像的預定數量、和每張原始面部圖像在排序得到的序列中的位置，從所述多張原始面部圖像篩選得到所述多張面部圖像。

4.根據權利要求3所述的方法，其特征在于，所述方法利用如下公式篩選所述多張面部圖像：

Stretch_seq[i]＝orig_seq[round((i×orig_len)/M)]

式中，Stretch_seq[i]表示篩選得到的第i張面部圖像，M表示所述預定數量，round表示取整的四舍五入運算，orig_len表示原始面部圖像的數量，orig_seq表示所述多張原始面部圖像的排序序列。

5.根據權利要求1所述的方法，其特征在于，所述提取所述多張唇部區域圖像的有效時空特征數據，包括：

提取所述多張唇部區域圖像的N組時空特征數據；

基于所述N組時空特征數據對應的時間，將所述N組時空特征數據進行排序；其中，N為正整數；

針對每組時空特征數據，基于該組時空特征數據在排序得到的序列中的位置，和該組時空特征數據，確定該組時空特征數據對應的有效時空特征數據。

6.根據權利要求5所述的方法，其特征在于，所述基于該組時空特征數據在排序得到的序列中的位置，和該組時空特征數據，確定該組時空特征數據對應的有效時空特征數據，包括：

在該組時空特征數據位于排序序列的第一個位置的情況下，基于該組時空特征數據，確定該組時空特征數據對應的有效時空特征數據；

在該組時空特征數據未位于排序序列的第一個位置的情況下，基于該組時空特征數據，和該組時空特征數據的前一組時空特征數據對應的有效時空特征數據，確定該組時空特征數據對應的有效時空特征數據。

7.根據權利要求6所述的方法，其特征在于，所述基于該組時空特征數據在排序得到的序列中的位置，和該組時空特征數據，確定該組時空特征數據對應的有效時空特征數據，還包括：

在該組時空特征數據位于排序序列的最后一個位置的情況下，基于該組時空特征數據，確定該組時空特征數據對應的有效時空特征數據的中間值；

在該組時空特征數據未位于排序序列的最后一個位置的情況下，基于該組時空特征數據，和該組時空特征數據的后一組時空特征數據對應的有效時空特征數據的中間值，確定該組時空特征數據對應的有效時空特征數據的中間值；

基于該組時空特征數據對應的有效時空特征數據，和該組時空特征數據對應的有效時空特征數據的中間值，確定該組時空特征數據對應的最終的有效時空特征數據。

8.根據權利要求5所述的方法，其特征在于，所述提取所述多張唇部區域圖像的N組時空特征數據，包括：

提取所述多張唇部區域圖像的N組初始時空特征數據；

針對每組初始時空特征數據，基于與該組初始時空特征數據匹配的權重，確定該組初始時空特征數據對應的加權時空特征數據；

基于N組加權時空特征數據，確定N組時空特征數據。