[發(fā)明專利]用于抽取視頻數(shù)據(jù)的計算系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011248113.5
• 申請日: 2020-11-10
• 公開（公告）號: CN112784673A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 阿利雷扎·阿利阿米里;沈亦沉
• 申請（專利權(quán)）人: 三星電子株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 史泉;劉燦強

公開了用于抽取視頻數(shù)據(jù)的計算系統(tǒng)。所述用于抽取視頻數(shù)據(jù)的計算系統(tǒng)，包括：處理器；持久性存儲系統(tǒng)，結(jié)合到處理器；以及存儲器，存儲指令，所述指令在被處理器執(zhí)行時使得處理器通過以下操作來抽取視頻數(shù)據(jù)的一批幀：接收視頻數(shù)據(jù)的所述一批幀；通過特征提取器將所述一批幀映射到特征空間中的對應(yīng)的特征向量，所述對應(yīng)的特征向量中的每個特征向量具有比所述一批幀中的對應(yīng)的幀的尺寸小的尺寸；基于特征向量中的所述對應(yīng)的特征向量之間的不相似性，從視頻數(shù)據(jù)的所述多個幀選擇一組不相似幀；以及將選擇的一組不相似幀存儲在持久性存儲系統(tǒng)中，選擇的一組不相似幀的大小小于視頻數(shù)據(jù)的所述批一幀中的幀的數(shù)量。

本申請要求于2019年11月11日提交到美國專利商標局的第62/933，827號美國臨時專利申請和于2020年01月29日提交到美國專利商標局的第16/776,266號美國專利申請的優(yōu)先權(quán)和權(quán)益，這些申請的全部公開通過引用包含于此。

技術(shù)領(lǐng)域

本公開的實施例的方面涉及用于在收集視頻數(shù)據(jù)以用于訓(xùn)練機器學(xué)習(xí)系統(tǒng)(諸如，計算機視覺系統(tǒng))的領(lǐng)域中包括實時數(shù)據(jù)縮減的方法和系統(tǒng)。

背景技術(shù)

機器學(xué)習(xí)系統(tǒng)通常基于在大量訓(xùn)練數(shù)據(jù)上訓(xùn)練的基礎(chǔ)統(tǒng)計模型來計算預(yù)測或答案，訓(xùn)練數(shù)據(jù)表示這樣的系統(tǒng)將遇到的輸入的范圍。

作為一個示例，一些自動駕駛車輛使用相機來檢測周圍對象。一種用于對象檢測的技術(shù)是利用深度學(xué)習(xí)的有監(jiān)督的機器學(xué)習(xí)(例如，深度神經(jīng)網(wǎng)絡(luò))。在這樣的方法中，安裝在自動駕駛車輛上的相機實時拍攝街景的圖像，并且將圖像供應(yīng)給被訓(xùn)練成自動檢測場景內(nèi)的對象和對場景內(nèi)的對象進行分類的一個或多個統(tǒng)計模型(例如，深度神經(jīng)網(wǎng)絡(luò))。這基本上實時地向自動駕駛算法提供車輛的周圍(諸如，自動駕駛車輛附近的行人、道路危險、路緣、路面標記和其他車輛的位置)的語義表示。進而，自動駕駛算法可使用關(guān)于檢測的對象的信息來控制車輛(諸如，減慢和停止車輛以避免與穿過車輛的路徑行走的行人碰撞)。

為了生成用于訓(xùn)練計算機視覺系統(tǒng)的統(tǒng)計模型的訓(xùn)練數(shù)據(jù)，在通過各種條件(例如，不同類型的交通、天氣、道路類型、停車場、停車樓等)駕駛車輛時，從攝像機拍攝大量(例如，成千上萬的)圖像。然后，這些收集的圖像可通過人類注釋者手動地注釋(例如，通過手動地指定標記有在遮擋區(qū)域內(nèi)描繪的對象的邊界框或其他遮擋)。

發(fā)明內(nèi)容

本公開的實施例的方面涉及用于實時地減少為了訓(xùn)練機器學(xué)習(xí)系統(tǒng)的目的而拍攝的數(shù)據(jù)的系統(tǒng)和方法。

根據(jù)本公開的一個實施例，一種用于抽取視頻數(shù)據(jù)的計算系統(tǒng)，包括：處理器；持久性存儲系統(tǒng)，結(jié)合到處理器；以及存儲器，存儲指令，所述指令在被處理器執(zhí)行時使得處理器通過以下操作來抽取視頻數(shù)據(jù)的一批幀：接收視頻數(shù)據(jù)的所述一批幀；通過特征提取器將所述一批幀映射到特征空間中的對應(yīng)的特征向量，所述特征向量中的每個特征向量具有比所述一批幀中的對應(yīng)的幀的尺寸小的尺寸；基于所述特征向量中的對應(yīng)的特征向量之間的不相似性，從視頻數(shù)據(jù)的所述多個幀選擇一組不相似幀；以及將選擇的一組不相似幀存儲在持久性存儲系統(tǒng)中，選擇的一組不相似幀的大小小于視頻數(shù)據(jù)的所述一批幀中的幀的數(shù)量。

使得處理器選擇一組幀的所述指令可包括在被處理器執(zhí)行時使得處理器進行以下操作的指令：從視頻數(shù)據(jù)的所述一批幀隨機地選擇第一參考幀；從所述一批幀丟棄第一組幀，第一組幀具有在與第一參考幀對應(yīng)的第一特征向量的相似性閾值距離內(nèi)的對應(yīng)的特征向量；從視頻數(shù)據(jù)的所述多個幀選擇第二參考幀，第二參考幀具有第二特征向量，其中，第一特征向量與第二特征向量之間的距離可大于所述相似性閾值距離；以及從所述一批幀丟棄第二組幀，第二組幀具有在第二特征向量的相似性閾值距離內(nèi)的對應(yīng)的特征向量，其中，選擇的一組不相似幀可包括第一參考幀和第二參考幀，并且排除第一組幀和第二組幀。

特征提取器可包括神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)可包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)。

所述計算系統(tǒng)和持久性存儲系統(tǒng)可在車輛上，并且視頻數(shù)據(jù)的所述一批幀可以是由安裝在車輛上的攝像機拍攝的視頻數(shù)據(jù)的流的一部分，攝像機被配置為拍攝車輛的周圍的圖像。