[發明專利]多模態數據自動清洗與標注方法與系統在審

申請號：	202010525080.8	申請日：	2020-06-10
公開（公告）號：	CN111767805A	公開（公告）日：	2020-10-13
發明（設計）人：	劉青松;胡炳然	申請（專利權）人：	云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
主分類號：	G06K9/00	分類號：	G06K9/00;G06F16/735;G06F16/783;G10L17/00
代理公司：	北京冠和權律師事務所 11399	代理人：	安琪
地址：	100000 北京市海***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	多模態數據自動清洗標注方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明提供了多模態數據自動清洗與標注方法與系統，該多模態數據自動清洗與標注方法與系統結合視頻中圖像和音頻這兩種互補信息，來相互協作完成對視頻多模態數據的自動清洗與標注工作，其具體能夠從海量未標注的視頻多模態數據中，清洗并標注出帶有人物正臉信息的畫面片段，以及同時標注出該畫面片段中人物的說話狀態和說話起始點信息，從而實現多模態信息的多樣化的標注和提高多模態信息的標注性能。

技術領域

本發明涉及多模態數據處理的技術領域，特別涉及多模態數據自動清洗與標注方法與系統。

背景技術

視頻數據屬于多模態數據，視頻數據中同時包括圖像信息和音頻信息這兩種單一模態的數據信息。目前，在對視頻數據進行處理的過程中，需要分別對其中的圖像信息和音頻信息進行獨立的處理，但是由于該圖像信息和該音頻信息兩者之間在時間上和場景內容上均存在關聯性，上述獨立處理的方式并不能有效地解決在視頻這樣的多模態場景中，對圖像畫面和音頻信息進行相互協作標注的問題，其無法利用多模態信息提供多樣化的標注信息和提高單一模態維度的標注性能。

發明內容

針對現有技術存在的缺陷，本發明提供多模態數據自動清洗與標注方法與系統，該多模態數據自動清洗與標注方法與系統通過人臉信息分析獲得滿足預設質量條件的有效人臉圖像幀及其對應的時間戳信息、通過音頻信息分析獲得音頻特征信息和說話人身份確定信息、以及通過綜合與決策處理標注于視頻中說話人說話狀態和/或說話起始點信息；可見，該多模態數據自動清洗與標注方法與系統結合視頻中圖像和音頻這兩種互補信息，來相互協作完成對視頻多模態數據的自動清洗與標注工作，其具體能夠從海量未標注的視頻多模態數據中，清洗并標注出帶有人物正臉信息的畫面片段，以及同時標注出該畫面片段中人物的說話狀態和說話起始點信息，從而實現多模態信息的多樣化的標注和提高多模態信息的標注性能。

本發明提供多模態數據自動清洗與標注方法，其特征在于，所述多模態數據自動清洗與標注方法包括如下步驟：

步驟S1，人臉信息分析步驟，其用于對視頻中的畫面成分進行人臉識別，以此獲得滿足預設質量條件的有效人臉圖像幀及其對應的時間戳信息；

步驟S2，音頻信息分析步驟，其用于對視頻中的音頻成分進行分析，以此獲得音頻特征信息和說話人身份確定信息；

步驟S3，綜合與決策處理步驟，其用于根據所述人臉圖像幀、所述時間戳信息、所述音頻特征信息和所述說話人身份確定信息，進行關于視頻中說話人說話狀態和/或說話起始點信息的標注；

進一步，在所述步驟S1中，所述人臉信息分析步驟具體包括，

步驟S101，從所述視頻中分離出所述畫面成分，并獲取待識別的人臉特征信息，其中，所述人臉特征信息包括人臉五官信息和/或人臉輪廓信息；

步驟S102，將所述畫面成分分解成若干圖像幀，并從所述若干圖像幀中識別摘選出包含所述人臉特征信息的人臉圖像幀；

步驟S103，判斷所述人臉圖像幀是否滿足預設圖像分辨率條件和/或圖像色調條件，若是，則將對應的人臉圖像幀確定為有效人臉圖像幀；

步驟S104，獲取所述畫面成分分解成所述若干圖像幀對應的時間軸信息，并從所述時間軸信息中提取每一所述有效人臉圖像幀對應的時間戳信息；

進一步，在所述步驟S2中，所述音頻信息分析步驟具體包括，

步驟S201，從所述視頻中分離出所述音頻成分；

步驟S202，對所述音頻成分進行VAD語音激活檢測，以此獲得關于所述音頻成分的音頻特征信息，其中，所述音頻特征信息包括人物語音信息和環境聲音信息；