[發(fā)明專利]物體分類方法、物體分類器的訓(xùn)練方法、裝置和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201710393229.X
• 申請日: 2017-05-27
• 公開（公告）號: CN108229285B
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計）人: 湯曉鷗;陳愷;宋航;呂健勤;林達(dá)華
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京康達(dá)聯(lián)禾知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11461
• 代理人: 羅延紅;張雪飛

本發(fā)明實施例提供一種物體分類方法、物體分類器的訓(xùn)練方法、裝置和電子設(shè)備。一種物體分類器的訓(xùn)練方法，包括：從樣本視頻幀序列中的各個視頻幀獲取含有物體對象的多個第一物體框序列；從樣本視頻幀序列對應(yīng)的字幕文本中獲取關(guān)鍵詞信息；使用所述第一物體框序列以及所述關(guān)鍵詞信息訓(xùn)練用于識別物體對象的物體分類器。在物體分類器的訓(xùn)練中，無需特別對大量的訓(xùn)練樣本進(jìn)行標(biāo)注，由此提供了一種弱監(jiān)督的機(jī)器學(xué)習(xí)方法來訓(xùn)練物體分類器，并且獲得具有預(yù)測準(zhǔn)確性的物體分類器。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及圖像處理技術(shù)，尤其涉及一種物體分類方法、物體分類器的訓(xùn)練方法、裝置和電子設(shè)備。

背景技術(shù)

對視頻進(jìn)行物體檢測是計算機(jī)視覺領(lǐng)域的重要問題以及智能視頻分析的基礎(chǔ)技術(shù)。物體檢測可廣泛應(yīng)用在在諸如智能監(jiān)控、自動視頻標(biāo)注以及高級檢索等很多重要的應(yīng)用中。

對視頻進(jìn)行物體檢測的技術(shù)建立在對圖片進(jìn)行物體檢測的基礎(chǔ)之上，但是，針對視頻的物體檢測建模更為復(fù)雜。現(xiàn)有的視頻物體檢測方法具有以下不足和局限性：訓(xùn)練好的物體檢測模型只能用于特定物體種類的檢測。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于，提供一種用于視頻幀序列的物體分類技術(shù)以及物體分類器的訓(xùn)練技術(shù)。

根據(jù)本發(fā)明實施例的第一方面，提供一種物體分類器的訓(xùn)練方法，包括：從樣本視頻幀序列中的各個視頻幀獲取含有物體對象的多個第一物體框序列；從樣本視頻幀序列對應(yīng)的字幕文本中獲取關(guān)鍵詞信息；使用所述第一物體框序列以及所述關(guān)鍵詞信息訓(xùn)練用于識別物體對象的物體分類器。

可選地，所述第一物體框序列包括物體對象的物體候選框數(shù)據(jù)和運動軌跡數(shù)據(jù)。

可選地，所述使用所述第一物體框序列以及所述關(guān)鍵詞信息訓(xùn)練用于識別物體對象的物體分類器，包括：使用所述第一物體框序列以及所述關(guān)鍵詞信息設(shè)置用于識別物體對象的物體分類器；和/或，使用所述第一物體框序列以及所述關(guān)鍵詞信息迭代訓(xùn)練用于識別物體對象的物體分類器。

可選地，所述關(guān)鍵詞信息包括關(guān)鍵詞以及所述關(guān)鍵詞對應(yīng)的時間軸信息；所述使用所述第一物體框序列以及所述關(guān)鍵詞信息設(shè)置用于識別物體對象的物體分類器，包括：設(shè)置所述物體分類器的分類標(biāo)簽，其中，所述物體分類器的分類標(biāo)簽，根據(jù)不同類別的物體對象的運動軌跡數(shù)據(jù)與所述時間軸信息的匹配程度在所述關(guān)鍵詞中選擇得到，所述不同類別的物體對象根據(jù)所述物體候選框數(shù)據(jù)對不同的物體對象進(jìn)行聚類得到。

可選地，所述從樣本視頻幀序列中的各個視頻幀獲取含有物體對象的多個第一物體框序列，包括：通過用于提取物體候選框的第一神經(jīng)網(wǎng)絡(luò)，在所述樣本視頻幀序列的各個視頻幀中獲取初始的物體候選框數(shù)據(jù)；對所述初始的物體候選框數(shù)據(jù)進(jìn)行跟蹤，得到初始的運動軌跡數(shù)據(jù)；通過用于軌跡提取的第二神經(jīng)網(wǎng)絡(luò)，確定所述初始的運動軌跡數(shù)據(jù)的預(yù)測準(zhǔn)確數(shù)據(jù)；根據(jù)所述預(yù)測準(zhǔn)確數(shù)據(jù)在所述初始的運動軌跡數(shù)據(jù)中篩選目標(biāo)的運動軌跡數(shù)據(jù)，以所述目標(biāo)的運動軌跡數(shù)據(jù)及其對應(yīng)的物體候選框數(shù)據(jù)作為所述第一物體框序列。

可選地，所述從樣本視頻幀序列對應(yīng)的字幕文本中獲取關(guān)鍵詞信息，包括：通過關(guān)鍵詞篩選算法在所述字幕文本中提取表示物體類別的詞作為關(guān)鍵詞，以所述關(guān)鍵詞及其對應(yīng)的時間軸信息所述關(guān)鍵詞信息。

可選地，使用所述第一物體框序列以及所述關(guān)鍵詞信息設(shè)置用于識別物體對象的物體分類器，包括：通過用于特征提取的第三神經(jīng)網(wǎng)絡(luò)，對所述第一物體框序列的物體候選框數(shù)據(jù)進(jìn)行特征提取，并對特征提取后的物體候選框數(shù)據(jù)對不同的物體對象進(jìn)行聚類，根據(jù)所述聚類結(jié)果確定不同類別的物體對象；使用所述關(guān)鍵詞對應(yīng)的所述時間軸信息，與所述不同類別的物體對象對應(yīng)的運動軌跡數(shù)據(jù)進(jìn)行匹配，根據(jù)匹配程度選擇關(guān)鍵詞作為所述物體分類器的分類標(biāo)簽。