[發明專利]記錄所捕獲圖像的音頻元數據

無效

• 申請號: 200880102117.3
• 申請日: 2008-07-17
• 公開（公告）號: CN101772949A
• 公開（公告）日: 2010-07-07
• 發明（設計）人: K·A·雅各比;C·W·洪辛格;T·J·默里;J·V·內爾遜
• 申請（專利權）人: 伊斯曼柯達公司
• 主分類號: H04N1/21
• 分類號: H04N1/21;H04N101/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 王小衡;王忠忠

技術領域

本發明通常涉及音頻處理領域，并且更具體地涉及在相關聯的靜止或視頻數字化圖像的圖像文件中嵌入音頻元數據。

背景技術

數字照相機往往包括視頻捕獲能力。另外，一些數字照相機具有用音頻注解圖像捕獲數據的能力。音頻波形往往被存儲為數字編碼的音頻樣本并且放置在文件格式的適當容器內，例如數字靜止圖像文件的元數據標簽或者簡單地作為視頻文件或流中的(一個或多個)編碼音頻層。

在消費電子學工業中已經有許多創新：將圖像內容與聲音進行結合。例如，伊斯曼·柯達公司在US6496656B1中教導了如何在硬拷貝印刷品中嵌入音頻波形。另一個柯達專利US6993196B2教導了如何將音頻數據作為非標準元數據存儲在圖像文件的結尾處。

Virage公司具有一個專利US6833865，該專利教導了關于一種用于實時嵌入的元數據提取的系統，所述元數據提取能夠是與場景或音頻相關的，只要音頻已經存在于視聽數據流中即可。該處理能夠與捕獲并行地或者順序地進行。

US7113219B2是惠普專利，其教導了使用按鈕上的第一位置來捕獲音頻以及使用第二位置來捕獲圖像。

盡管這樣的音頻信息駐留在圖像或視頻文件中以用于回放目的，但是該音頻除了允許在以后查看文件時回放聲音之外沒有其它目的。當前，沒有機制用于在捕獲時或在以后自動地捕獲與數字圖像或視頻捕獲同時的音頻事件以便后續分析進行理解、組織、分類或搜索/檢索。

發明內容

簡而言之，依據本發明，提供了一種在圖像捕獲期間記錄音頻元數據的方法，包括：

a)提供用于捕獲靜止或視頻數字化的場景圖像和記錄音頻信號的圖像捕獲設備；

b)當該設備處于開機模式時連續地記錄所述音頻信號；以及

c)由所述圖像捕獲設備啟動靜止圖像或視頻圖像的捕獲，并且將在靜止圖像或視頻圖像的捕獲終止之前、期間和之后的時間內產生的音頻信號存儲為元數據。

本發明自動地將音頻元數據與圖像捕獲相關聯。而且，本發明自動地將同時發生的音頻信息的預定段與圖像或圖像的視頻序列相關聯。

要理解，如本發明的該說明書中使用的短語“圖像捕獲”、“捕獲的圖像”、“圖像數據”涉及靜止圖像捕獲以及運動圖像捕獲，如在視頻中。術語“靜止圖像捕獲”和“視頻捕獲”或者其變型在需要時將用來描述不同的靜止或運動捕獲情況。

本發明的優點源于如下事實：在圖像捕獲之前、期間和之后被捕獲的記錄的音頻信息提供場景的情境以及有用的元數據，其能夠被分析以語義理解所捕獲的圖像。依據本發明，一個過程將音頻信息的不斷更新的活動窗口與所捕獲的圖像相關聯，以允許用戶有不必經過驅動按鈕或開關來主動地啟動音頻捕獲的自由。用戶所需的物理動作是啟動圖像或視頻捕獲事件。音頻信號與(多個)圖像的關聯以及音頻信息的活動窗口的管理由設備的電子器件自動地處理并且對用戶是完全透明的。

通過查看以下優選實施例的詳細描述和所附權利要求并且參照附圖，將更清楚地理解和明白本發明的這些以及其它方面、目標、特征和優點。

本發明包括這些優點：存儲于存儲器中的開機模式中的音頻的連續捕獲允許捕獲能夠用于對圖像數據的語義理解的更多信息，以及在查看圖像數據時經過音頻的回放來增強用戶體驗。在圖像捕獲時，來自靜止和視頻捕獲之前的一段時間、靜止和視頻捕獲期間以及靜止和視頻捕獲之后的一段時間的音頻樣本作為元數據被自動地存儲在圖像文件中以用于以后的語義分析。

附圖說明

圖1a是描述發明的實施例的框圖；

圖1b示出含有圖像和音頻數據的多媒體文件；

圖2a是描述代表性攝影環境的草圖，含有照相機用戶、對象、場景以及其它產生環境中聲音的目標；

圖2b是使用發明的優選實施例說明在典型使用情況下發生的高級事件的流程圖；

圖3a是示出作為與靜止圖像捕獲情況交疊的時變信號的數字化音頻信號波形的詳細圖；

圖3b是特定于視頻捕獲情況的數字化音頻信號波形的詳細圖；以及

圖4是用于分析所記錄的音頻信號的圖1a所示的分析過程的框圖。

具體實施方式

在以下描述中，本發明將在其優選實施例中被描述為數字照相機設備。本領域技術人員將容易意識到等效發明還能夠存在于其它實施例中。