[發明專利]一種基于深度學習和概率圖模型的視頻描述生成方法

有效

• 申請號: 201710048375.9
• 申請日: 2017-01-19
• 公開（公告）號: CN106845411B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 覃征;黃凱;王國龍;徐凱平;葉樹雄
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F16/738
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

本發明公開了一種基于深度學習和概率圖模型的視頻描述生成方法。該系統包括：利用現有的圖像數據集訓練快速區域對象識別卷積神經網絡模型；利用現有的視頻數據集訓練動作識別卷積神經網絡模型；對視頻進行抽幀處理，并分別使用快速區域對象識別卷積神經網絡模型和動作識別卷積神經網絡模型識別出視頻中的對象和動作，基本確定視頻的大致內容；通過使用條件隨機場找到最大概率的對象，動作，對象主謂賓三元組，排除視頻中的噪聲對象，使得最終的描述結果更加精確；將主謂賓三元組輸入長短期記憶網絡進而輸出合適的句子，該句子即為輸入視頻的描述。將視頻轉化成描述，可加快了人對視頻內容的理解速度，也加快了視頻的檢索速度。

技術領域

本發明屬于視頻描述生成技術領域，特別涉及一種基于深度學習和概率圖模型的視頻描述生成方法。

背景技術

隨著互聯網的快速發展，文本、語音、圖像和視頻的等多媒體數據進入了大爆炸時代。裝有豐富傳感器的智能設備的普及，推動了用戶生成內容的發展，生成數據的門檻變得越來越低，這使得互聯網公司存儲的數據量成指數型增長。海量的數據，為科研和應用提供了基礎條件。新興的眾包手段，為模型訓練提供了數據集，使得數據分析進入了一個全新的階段。

在數據量如此巨大的時代，吸收流媒體中的信息的速度變得非常重要。相對于文本和圖像來說，視頻數據增加了時間維度，因此理解起來更加耗時。視頻描述生成任務將一個簡單的視頻片段轉化為一句話描述，它有效地加快了對視頻的理解速度。更進一步，還能將文本描述轉化成語音，進而進行語音提示，在緊急情況下還可以通知相應人員做出快速反應。它在人機交互和機器人領域，都有非常廣泛的應用。

如何快速地在海量數據中檢索目標并進行分析，是信息檢索領域的一個經典問題。目前，谷歌、百度等公司已經在文本檢索方面取得了巨大的成就，并已成為主流的文本搜索引擎。在圖像檢索領域，這兩家公司也推出了初步的產品。然而，在視頻檢索領域，尚未有知名公司推出基于視頻內容的檢索的系統，只有基于視頻標簽和標題的檢索系統，例如優酷、土豆等。當新增視頻時，前者不需要人工對視頻進行標簽和標題標注，而后者需要。視頻描述生成任務自動地將視頻內容精確地轉為文字描述，它可以取代人工標注的標簽和標題，通過這種方法就將視頻檢索問題轉換成了文本檢索的問題。

由于這個問題是計算機視覺領域的熱點任務，因此已有學者提出各種各樣的方法。例如，直接使用卷積神經網絡提取視頻的特征，生成特征向量，然后再將特征向量輸入長短期記憶網絡，進而生成視頻描述。該方法僅使用了用于訓練的視頻數據集，使用的額外信息不足，故有一定的局限性。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供一種基于深度學習和概率圖模型的視頻描述生成方法，用于準確地用一句話描述出一段視頻包含信息。

為了實現上述目的，本發明采用的技術方案是：

一種基于深度學習和概率圖模型的視頻描述生成方法，包括以下步驟：

利用現有的圖像數據集訓練快速區域對象識別卷積神經網絡模型；

利用現有的視頻數據集訓練動作識別卷積神經網絡模型；

對視頻進行抽幀處理，并分別使用快速區域對象識別卷積神經網絡模型和動作識別卷積神經網絡模型識別出視頻中的對象和動作；

通過使用條件隨機場找到最大概率的對象，動作，對象主謂賓三元組；

將主謂賓三元組輸入長短期記憶網絡進而輸出視頻的描述。

所述利用現有的圖像數據集訓練快速區域對象識別卷積神經網絡模型具體為：

利用現有的圖像數據集，構造圖像，對象集二元組，將所有二元組作為訓練集，訓練快速區域對象識別卷積神經網絡模型。

所述利用現有的視頻數據集訓練動作識別卷積神經網絡模型具體為：