[發明專利]一種數據處理方法及裝置

在審

• 申請號: 202010450209.3
• 申請日: 2020-05-25
• 公開（公告）號: CN111767793A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 郭莉莉;楊琳;王旭陽;徐培來;柳楊
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L15/02;G10L15/22;G10L15/24
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 江宇

本發明公開了一種數據處理方法及裝置，方法包括：分別對獲取的原始圖像數據和原始語音數據進行特征識別，得到對應于初始對象的初始特征圖像數據和初始特征語音數據；對當前圖像數據進行面部跟蹤，并判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配；若當前對象的面部跟蹤結果與所述初始對象的初始特征圖像數據不匹配，則對所述當前對象進行語音跟蹤，并判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配；若所述當前對象的語音跟蹤結果與所述初始對象的初始特征語音數據相匹配，則對所述當前對象的當前語音數據進行語音識別。本發明實施例能夠提高語音識別的流暢性和準確度。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

隨著技術的發展，各個行業對于語音識別和圖像識別的應用，都非常廣泛。但是圖像識別受到光照、人臉角度、遮擋等影響，精度不高，而語音識別受到各種噪聲，多人等影響，精度也不高。所以，在實際應用中，將語音和圖像結合，既可以分別提高兩者的識別精度，也可以達到實時的應用需求。但是現有技術方案中，由于語音識別嚴重依賴于圖像識別中的唇動檢測，如果人臉檢測不到，即停止語音識別，造成語音識別的不連續。因此如何更準確的利用音視頻的信息來進行語音識別，在當前的圖像語音識別技術系統中，成為研究重點。

發明內容

本發明實施例為了有效克服現有技術所存在的上述缺陷，創造性地提供一種數據處理方法，包括：獲取原始圖像數據和原始語音數據；分別對所述原始圖像數據和所述原始語音數據進行特征識別，得到對應于初始對象的初始特征圖像數據和初始特征語音數據；對當前圖像數據進行面部跟蹤，并判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配；若當前對象的面部跟蹤結果與所述初始對象的初始特征圖像數據不匹配，則對所述當前對象進行語音跟蹤，并判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配；若所述當前對象的語音跟蹤結果與所述初始對象的初始特征語音數據相匹配，則對所述當前對象的當前語音數據進行語音識別。

在一可實施方式中，若當前對象的面部跟蹤結果與所述初始對象的初始特征圖像數據相匹配，則根據所述當前對象的面部跟蹤結果對所述當前對象進行單人模式或多人模式下的語音跟蹤。

在一可實施方式中，所述根據所述當前對象的面部跟蹤結果對所述當前對象進行單人模式或多人模式下的語音跟蹤包括：若所述當前對象的面部跟蹤結果中僅存在與所述初始對象的初始特征圖像數據相匹配的一個對象數據時，則對所述當前對象的單人語音數據進行語音識別并存儲。

在一可實施方式中，所述根據所述當前對象的面部跟蹤結果對所述當前對象進行單人模式或多人模式下的語音跟蹤還包括：若所述當前對象的面部跟蹤結果中存在與所述初始對象的初始特征圖像數據相匹配的多個對象數據時，則對所述當前對象的當前語音數據進行語音分離，得到每一個所述當前對象的對應分離后語音數據，并對所述分離后語音數據進行語音識別。

在一可實施方式中，所述對所述當前對象的當前語音數據進行語音分離包括：根據所述初始特征語音數據和歷史單人語音數據對所述當前對象的當前語音數據進行語音分離。

在一可實施方式中，通過波束成形根據所述初始特征語音數據和歷史單人語音數據對所述當前對象的當前語音數據進行語音分離。

在一可實施方式中，在所述判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配之前，所述方法還包括：根據所述初始特征圖像數據和/或初始特征語音數據建立對象分類模型；則所述判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配包括：根據所述對象分類模型判斷當前對象的面部跟蹤結果是否與所述初始對象的初始特征圖像數據相匹配；所述判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配包括：根據所述對象分類模型判斷所述當前對象的語音跟蹤結果是否與所述初始對象的初始特征語音數據相匹配。