[發明專利]一種由音頻和圖片組成的視頻文件的生成和檢索播放方法、裝置

有效

• 申請號: 201710657600.9
• 申請日: 2017-08-03
• 公開（公告）號: CN107295284B
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 邵之江;張舵;張丁;王永銘
• 申請（專利權）人: 浙江大學
• 主分類號: H04N5/76
• 分類號: H04N5/76;H04N21/81;G11B27/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜;邱啟旺

本發明公開了一種由音頻和圖片組成的視頻文件的生成和檢索播放方法、裝置，本發明可以在錄制音頻的同時，以定時、用戶點擊、自動檢測場景轉換或者其他軟硬件系統通知等方式觸發拍照，并在對應時間點將圖片嵌入音頻中，最終生成一個方便檢索、尺寸合適的視頻文件；用戶可以通過關鍵幀索引的方式，用圖片作為輔助信息快速定位并播放音頻。本發明提供了“音頻+圖片”的偽視頻文件生成、播放、使用的新方法，能大大減小視頻文件的尺寸，保留最重要的音頻和圖片信息，并提供有效的檢索功能；特別適用于存儲和傳輸語音解說為主、圖片文字為輔的知識型信息；對于目前以微信等為代表的大規模網絡化知識和信息分享來說，具有非常積極的作用。

技術領域

本發明涉及音視頻處理技術領域，尤其涉及一種視頻文件生成和檢索播放方法、裝置。

背景技術

隨著錄像錄音設備的普及，用戶錄制、傳播音視頻的需求也越來越多。通過微信、QQ等網絡方式進行音視頻分享，已經成為大眾網絡用戶的常態，也已經成為傳播知識、文化的最重要途徑。但用戶錄制講座、課堂教學等場合的音視頻時常常遇到一個兩難的問題：只錄制音頻時一些關鍵的圖像信息就難以同時采集，不能給人直觀印象，并且長音頻在回放時不好精確定位其中的某一部分；直接錄制為帶有聲音的視頻的話就會面臨視頻尺寸龐大、不便存儲傳輸的問題。因此，一種能在音頻中嵌入關鍵圖片的錄制方式將是一種好的解決方案：既控制了文件尺寸的大小，也便于給人直觀信息以及精確定位。現有技術中，對音視頻的去信息冗余和檢索多采用后期處理的方式實現，操作比較麻煩，缺少一種在錄制時直接對信息高效采集并整合成可檢索視頻的方法。

發明內容

本發明的目的在于針對現有技術的不足，提供一種由音頻和圖片組成的視頻文件的生成和檢索播放方法。

本發明的目的是通過以下技術方案實現的：一種由音頻和圖片組成的視頻文件的生成方法，包括以下步驟：

S1、采集音頻，同時采集與音頻時間同步的圖片，圖片的采集方式為自動、手動或其他系統觸發；

S2、將采集的圖片編碼為視頻流，將音頻編碼為音頻流；

S3、將視頻流與音頻流封裝生成視頻文件，所述視頻文件用于對嵌入了圖片后的音頻進行索引和連續播放。

進一步地，所述步驟S2中，將要嵌入的圖片編碼為視頻流對應時間點的I幀，視頻流中的其他幀不編碼為I幀(可編碼為P幀)。

進一步地，I幀編碼圖片在視頻中保持靜止直到下一張圖片出現。

進一步地，所述步驟S1中，自動觸發方式為用戶定時拍照：當計時器計時到用戶設定的定時拍照時間時，自動獲取一幀圖像，將該圖像編碼為視頻流；或者，自動觸發方式為自動檢測到場景轉換時拍照：用戶設置感興趣的區域和觸發拍照的閾值TH，按用戶設定的視頻幀率獲取圖像，從獲取的圖像中提取用戶設置的感興趣區域的圖像G，對G進行運動估計得到運動矢量，對運動矢量的長度進行加和，除以感興趣區域的圖像大小，得到運動速度的指標E；當E大于TH時，將當前圖像編碼為視頻流，否則，將載有上一幀信息的視頻幀拷貝并寫入到視頻流中進行編碼。

進一步地，所述步驟S1中，手動觸發為用戶點擊按鈕觸發：當用戶點擊拍照按鈕時，記錄當前時間，獲取一幀圖像，將該圖像編碼為視頻流；其他系統觸發為：通過遙控器紅外信號觸發，當接收到其他系統拍照請求時，獲取當前圖像，將該圖像編碼為視頻流。

進一步地，所述步驟S1中，采集音頻之前，還包括參數設置的步驟，設置的參數包括音頻錄制參數、圖片拍攝參數和視頻生成參數；所述音頻錄制參數包括音頻碼率；所述圖片拍攝參數包括圖片大小和分辨率，所述視頻生成參數包括視頻幀率。

一種由音頻和圖片組成的視頻文件的檢索播放方法，該方法包括：

用戶選取待播放的視頻文件；

從視頻文件中獲取視頻流并逐幀解碼；