[發明專利]發送裝置、發送方法、處理裝置以及處理方法

有效

• 申請號: 201980010999.9
• 申請日: 2019-01-28
• 公開（公告）號: CN111684823B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 塚越郁夫
• 申請（專利權）人: 索尼公司
• 主分類號: H04S7/00
• 分類號: H04S7/00;H04N21/233;H04N21/439;G10L19/00
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 余剛

1.一種發送裝置，包括：

處理電路，被配置為生成容器，所述容器包括視頻流和音頻流，

所述視頻流包括投影畫面的編碼的圖像數據，并且

所述音頻流包括編碼的空間語音數據；

將渲染元數據插入所述容器中，所述渲染元數據包括指定一個或多個視頻視點的視頻視點語法、分別與所述一個或多個視頻視點相關聯的一個或多個視點標識符、以及所述一個或多個視頻視點的對應坐標信息；并且

在所述音頻流中插入音頻視點語法，所述音頻視點語法指定一個或多個音頻視點、定義包括在所述音頻視點語法中的所述一個或多個音頻視點的數目的一個或多個參數、分別與所述一個或多個音頻視點相關聯的所述一個或多個視點標識符、以及所述一個或多個音頻視點的對應坐標信息；以及

發送電路，被配置為將包括所述編碼的圖像數據、所述編碼的空間語音數據、所述視頻視點語法和所述音頻視點語法的所述容器傳輸至接收設備，

其中，所述視頻視點語法使所述接收從所述編碼的圖像數據生成主圖像，所述主圖像具有與所述一個或多個視頻視點中所選的一個視頻視點對應的中心位置，

所述音頻視點語法使所述接收從所述編碼的空間語音數據生成語音信號，所述語音信號具有與所述一個或多個音頻視點中所選的一個音頻視點對應的觀測點位置，并且

所述一個或多個視頻視點中所選的一個視頻視點和所述一個或多個音頻視點中所選的一個音頻視點與相同的視點標識符相關聯。

2.根據權利要求1所述的發送裝置，

其中，所述一個或多個音頻視點的所述坐標信息包括關于指示所述一個或多個音頻視點的位置的方位角和仰角的信息。

3.根據權利要求1所述的發送裝置，

其中，所述音頻視點語法還將所述一個或多個音頻視點布置為一個或多個組。

4.根據權利要求1所述的發送裝置，

其中，所述空間語音數據是基于場景的音頻的數據。

5.根據權利要求4所述的發送裝置，

其中，所述基于場景的音頻的所述數據是HoA格式的每個分量。

6.根據權利要求4所述的發送裝置，

其中，所述基于場景的音頻的所述數據和所述音頻視點語法包括在所述音頻流的包中。

7.根據權利要求6所述的發送裝置，

其中，所述包是MPEG-H音頻流包。

8.根據權利要求6所述的發送裝置，

其中，所述包包括在ISOBMFF的所述容器中。

9.一種發送方法，包括：

生成容器，所述容器包括視頻流和音頻流，

所述視頻流包括投影畫面的編碼的圖像數據，并且

所述音頻流包括編碼的空間語音數據；

將渲染元數據插入所述容器中，所述渲染元數據包括指定一個或多個視頻視點的視頻視點語法、分別與所述一個或多個視頻視點相關聯的一個或多個視點標識符、以及所述一個或多個視頻視點的對應坐標信息；并且

通過發送裝置的處理電路，在所述音頻流中插入音頻視點語法，所述音頻視點語法指定一個或多個音頻視點、定義包括在所述音頻視點語法中的所述一個或多個音頻視點的數目的一個或多個參數、分別與所述一個或多個音頻視點相關聯的所述一個或多個視點標識符、以及所述一個或多個音頻視點的對應坐標信息；以及

通過所述發送裝置的發送電路，將包括所述編碼的圖像數據、所述編碼的空間語音數據、所述視頻視點語法和所述音頻視點語法的所述容器傳輸至接收設備，

其中，所述視頻視點語法使所述接收從所述編碼的圖像數據生成主圖像，所述主圖像具有與所述一個或多個視頻視點中所選的一個視頻視點對應的中心位置，

所述音頻視點語法使所述接收從所述編碼的空間語音數據生成語音信號，所述語音信號具有與所述一個或多個音頻視點中所選的一個音頻視點對應的觀測點位置，并且

所述一個或多個視頻視點中所選的一個視頻視點和所述一個或多個音頻視點中所選的一個音頻視點與相同的視點標識符相關聯。