[發明專利]用于創建伴隨視覺影像的音頻軌的方法

有效

• 申請號: 201880010311.2
• 申請日: 2018-02-05
• 公開（公告）號: CN110249387B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 馬克·D·伍德三世;彼得·D·伍德
• 申請（專利權）人: 柯達阿拉里斯股份有限公司
• 主分類號: G11B27/031
• 分類號: G11B27/031;G11B27/10;G11B27/28
• 代理公司: 成都超凡明遠知識產權代理有限公司 51258
• 代理人: 魏彥;洪玉姬

公開了創建用以伴隨多媒體對象序列的一個或多個音頻對象的方法。根據一個實施方式，該方法包括使用處理器來分析多媒體對象和對應的記錄元數據以生成衍生元數據。該方法還接收對被配置為分析所記錄元數據和衍生元數據的一個或多個分析工具的選擇。接下來，識別多媒體對象的選定子集并且對其進行排序，該多媒體對象的選定子集最終將與一個或多個音頻對象耦合并且由該一個或多個音頻對象伴隨。最后，本發明的實施方式生成用以伴隨多媒體對象的選定子集的音頻軌。

相關申請的交叉引用

本申請要求2017年2月6日提交的美國臨時申請No.62/455,295的權益，并且該臨時申請的公開內容通過引用并入本文。

技術領域

本發明涉及多媒體制作方法、系統、軟件和產品分發媒體。本發明的特定實施方式自動生成與觀看一組數字靜止的或錄制的影像一起播放的一個或多個音頻軌。

背景技術

低成本和高質量數字捕獲設備諸如數字相機和智能手機的激增已經產生了大量個人的和共享的數字影像的集合，該數字影像有靜止的也有錄制的。由于內容量龐大，觀看這些不斷增長的集合中的媒體資產(asset，資源)已經變得越來越困難。然而，最近已經有用于自動或者半自動地選擇和演示集合的期望子集的機制可用，使得能夠共享和再體驗這些子集。雖然打印硬拷貝照片產品通常是提出歸檔紀念品的優選方式，但是在許多情況下，軟拷貝呈現對于自發觀看或者與朋友和家人分享是最佳的。這種軟拷貝呈現可以采用多種形式，從簡單的數字幻燈片到影像的動畫演示。然而，雖然這樣的演示刺激了視覺感官，但它們卻使其他人體感官未參與。用至少音頻成分伴隨視覺演示可以產生更愉快的觀看或回放體驗。即使當這樣的軟拷貝呈現包括視頻資產，并且那些視頻資產包含音頻軌時，片段可能僅形成整個呈現的一部分，并且與視頻相關聯的音頻質量可能是次質量的。從根本上，在沒有伴隨的音頻成分的情況下觀看數字呈現或者幻燈片通常是乏味的。

現有的發布為“Matching Songs to Events in Image Collections”(M.D.Wood，2009IEEE International Conference on Semantic Computing)的作品描述了一種系統，該系統用于通過將從影像中提取的語義信息與歌曲歌詞關聯來使來自個人音樂庫的歌曲與基于事件的圖像資產的時間分組關聯。然而，這種手段需要存在用歌詞注釋的音樂庫，并且僅對歌曲起作用，對于純音樂不起作用。

用于創建音頻軌的現有手段包括Davis和Mohammad的“Generating Music FromLiterature”，其中，作者描述了用于根據文學作品自動生成音樂創作的手段。該作品采用了小說的文本，并且基于感情詞語的分布合成音樂。它利用NRC Word-EmotionAssociation Lexicon，英語詞語到情緒的一種映射，其經由下述眾包制成：

http://www.musicfromtext.com/uploads/2/5/9/9/25993305/_transprose_final.pdf http://saifmohammad.com/WebPages/NRC-Emotion-Lexicon.htm

Davis和Mohammad的作品包括對小說文本的分析以識別情緒密度，考慮到期望、憤怒、喜悅、恐懼、厭惡、悲傷、驚訝和信任的八種情緒。小說被分成預定數量的段落，并且計算該段落中的情緒詞語與詞語總數量的比率，以衍生(derived，導出、推導)該段落的整體情緒密度。情緒密度的變化改變音樂。由Davis和Mohammad描述的系統TransProse實施根據文學作品中情緒的變化生成音符序列的機制。雖然本發明在一些方面使用感情概念建立該作品，但這只是本發明的一個方面，并且本申請是顯著不同的。本發明的系統和方法不是對任意文本分組進行操作，而是對在邏輯上通過主題或者時間構造分組的系列圖像進行操作。情緒只是合成中考慮的許多因素中的一個因素。