[發明專利]生成媒體文件的方法、裝置和計算機可讀存儲介質

在審

• 申請號: 202110667717.1
• 申請日: 2021-06-16
• 公開（公告）號: CN113822966A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 弗雷德里克·梅茲;弗蘭克·德諾奧;內爾·奧德拉奧果;簡·勒菲弗
• 申請（專利權）人: 佳能株式會社
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06T9/00
• 代理公司: 北京魏啟學律師事務所 11398
• 代理人: 魏啟學

本發明涉及一種生成媒體文件的方法、裝置和計算機可讀存儲介質，該方法包括：生成第一數據結構，該第一數據結構將軌的樣本或子樣本的子集分配至一個或多個樣本組；生成第二數據結構，所述第二數據結構包括用于描述所述一個或多個樣本組中的各個樣本組的數據，所述第一數據結構包括第一分組類型，所述第二數據結構包括第二分組類型，其中所述第二數據結構包括用于指示用于描述所述一個或多個樣本組中的各個樣本組的數據是否隨著時間不變的數據；以及生成包括所述樣本以及所述第一數據結構和第二數據結構的媒體文件。

技術領域

本發明涉及用于封裝和發送媒體數據的方法和裝置。

背景技術

國際標準組織基礎媒體文件格式(ISO BMFF，ISO/IEC 14496-12)是一種眾所周知的靈活且可擴展的文件格式，其封裝并描述用于本地存儲或者用于經由網絡或經由其它比特流傳送機制進行傳輸的編碼定時的或非定時的媒體數據。擴展的示例是ISO/IEC 14496-15，其描述了用于各種基于NAL(網絡抽象層)單元的視頻編碼格式的封裝工具。這種編碼格式的示例是AVC(高級視頻編碼)、SVC(可分級視頻編碼)、HEVC(高效視頻編碼)、L-HEVC(分層HEVC)和VVC(多功能視頻編碼)。文件格式擴展的另一示例是ISO/IEC 23008-12，其描述了用于靜態圖像或諸如HEVC靜態圖像等的靜態圖像序列的封裝工具。文件格式擴展的另一示例是定義了全向媒體應用程序格式(OMAF)的ISO/IEC 23090-2。ISO基礎媒體文件格式是面向對象的。它由被稱為框的與以唯一類型標識符(通常是四字符代碼，也稱為FourCC或4CC)表征的數據結構相對應的構造塊構成。完整框是與另外包括版本和標志值屬性的框類似的數據結構。在下面，術語框可以指定完整框或框這兩者。這些框或完整框在ISOBMFF文件中分層地或順次地組織，并且定義了用于描述編碼定時或非定時媒體數據、其結構和定時(如果有)的參數。封裝媒體文件中的所有數據(媒體數據和用于描述媒體數據的元數據)都包含在框中。文件中不存在其它數據。文件級框是不包含在其它框中的框。

在文件格式中，整體媒體呈現稱為動畫。動畫由在文件頂層的動畫框(具有四字符代碼“moov”)描述。該動畫框表示包含描述該媒體呈現的各種框的集合的初始化信息容器。它在邏輯上被分割為由軌框(具有四字符代碼“trak”)所表示的軌。各個軌(由軌標識符(track_ID)唯一標識)表示屬于呈現的媒體數據的定時序列(例如，視頻或音頻樣本的幀)。在各個軌內，各個定時數據單元被稱為樣本；這可能是一幀視頻、音頻或定時元數據。按解碼順序的序列對樣本隱式編號。各個軌框包含描述軌的樣本的框的層級，例如，樣本表框(“stbl”)包含軌中媒體樣本的所有時間和數據索引。實際樣本數據存儲在與動畫框級別相同的被稱為媒體數據框(具有四字符代碼“mdat”)或標識媒體數據框(具有四字符代碼“imda”，與媒體數據框類似，但包含附加標識符)的框中。動畫也可以在時間上被分段和組織為包含用于整個呈現的信息的動畫框，接著是媒體片段的列表，即，耦接動畫片段和媒體數據框(“mdat”或”imda”)的列表。在動畫片段(具有四字符代碼“moof”的框)內，存在用于描述媒體片段內的軌的軌片段(具有四字符代碼“traf”的框)的集合，每個動畫片段為零個或更多個軌片段。軌片段依次包含零個或更多個軌運行框(“trun”)，各個軌運行框記錄該軌片段的樣本的連續運行。

ISOBMFF文件可以包含形成多個軌的多個編碼定時媒體數據或編碼定時媒體數據的子部分。當子部分與視頻源的隨著時間推移所拍攝的一個或連續的空間部分(例如，隨著時間推移所拍攝的至少一個矩形區域，有時被稱為“圖塊”或“子圖片”)相對應時，相應的多個軌可以被稱為圖塊(tile)軌或子圖片軌。

ISOBMFF及其擴展包括用以將軌、靜態項或樣本分組在一起并將組描述與它們相關聯的若干分組機制。組通常共用通用語義和/或特性。

本發明人在描述和用信號通知與要發送的媒體數據有關的信息時注意到若干問題，特別是用于描述樣本組或樣本內的NAL單元組的問題。

一個示例涉及降低用信號通知隨著時間不變的樣本組的成本。