[發明專利]一種數據處理方法及裝置

在審

• 申請號: 202010450209.3
• 申請日: 2020-05-25
• 公開（公告）號: CN111767793A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 郭莉莉;楊琳;王旭陽;徐培來;柳楊
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L15/02;G10L15/22;G10L15/24
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 江宇

1.一種數據處理方法，其特征在于，包括：

獲取原始圖像數據和原始語音數據；

分別對所述原始圖像數據和所述原始語音數據進行特征識別，得到對應于初始對象的初始特征圖像數據和初始特征語音數據；

對當前圖像數據進行面部跟蹤，并判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配；

若當前對象的面部跟蹤結果與所述初始對象的初始特征圖像數據不匹配，則對所述當前對象進行語音跟蹤，并判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配；

若所述當前對象的語音跟蹤結果與所述初始對象的初始特征語音數據相匹配，則對所述當前對象的當前語音數據進行語音識別。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

若當前對象的面部跟蹤結果與所述初始對象的初始特征圖像數據相匹配，則根據所述當前對象的面部跟蹤結果對所述當前對象進行單人模式或多人模式下的語音跟蹤。

3.根據權利要求2所述的方法，其特征在于，所述根據所述當前對象的面部跟蹤結果對所述當前對象進行單人模式或多人模式下的語音跟蹤包括：

若所述當前對象的面部跟蹤結果中僅存在與所述初始對象的初始特征圖像數據相匹配的一個對象數據時，則對所述當前對象的單人語音數據進行語音識別并存儲。

4.根據權利要求3所述的方法，其特征在于，所述根據所述當前對象的面部跟蹤結果對所述當前對象進行單人模式或多人模式下的語音跟蹤還包括：

若所述當前對象的面部跟蹤結果中存在與所述初始對象的初始特征圖像數據相匹配的多個對象數據時，則對所述當前對象的當前語音數據進行語音分離，得到每一個所述當前對象的對應分離后語音數據，并對所述分離后語音數據進行語音識別。

5.根據權利要求4所述的方法，其特征在于，所述對所述當前對象的當前語音數據進行語音分離包括：

根據所述初始特征語音數據和歷史單人語音數據對所述當前對象的當前語音數據進行語音分離。

6.根據權利要求5所述的方法，其特征在于，通過波束成形根據所述初始特征語音數據和歷史單人語音數據對所述當前對象的當前語音數據進行語音分離。

7.根據權利要求1-6中任一項所述的方法，其特征在于，在所述判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配之前，所述方法還包括：

根據所述初始特征圖像數據和/或初始特征語音數據建立對象分類模型；

則所述判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配包括：

根據所述對象分類模型判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配；

所述判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配包括：

根據所述對象分類模型判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配。

8.根據權利要求1-6中任一項所述的方法，其特征在于，所述初始特征圖像數據至少包括對應于初始對象的初始唇動特征數據；

所述當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配包括：

判斷當前對象的面部跟蹤結果是否與所述初始對象的初始唇動特征數據相匹配。

9.根據權利要求1-6中任一項所述的方法，其特征在于，所述方法還包括：

若所述當前對象的語音跟蹤結果與所述初始對象的初始特征語音數據不匹配，則結束對所述當前語音數據的語音識別。

10.一種數據處理裝置，其特征在于，包括：

獲取模塊，用于獲取原始圖像數據和原始語音數據；

特征識別模塊，用于分別對所述原始圖像數據和所述原始語音數據進行特征識別，得到對應于初始對象的初始特征圖像數據和初始特征語音數據；

面部跟蹤模塊，用于對當前圖像數據進行面部跟蹤，并判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配；

第一語音跟蹤模塊，用于若當前對象的面部跟蹤結果與所述初始對象的初始特征圖像數據不匹配，則對所述當前對象進行語音跟蹤，并判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配；

語音識別模塊，用于若所述當前對象的語音跟蹤結果與所述初始對象的初始特征語音數據相匹配，則對所述當前對象的當前語音數據進行語音識別。